Robots.txt là gì?
· Robots
Exclusion Standard được phát triển từ năm 1994, nhằm giúp các webmaster có thể
“tư vấn” cho các công cụ tìm kiếm cách thu thập thông tin từ Blog/Website của
họ. Nó hoạt động theo cách tương tự như các “Thẻ tiêu đề robot tùy
chỉnh”. Điểm khác biệt chính giữa chúng là các tập tin“Robots.txt tùy
chỉnh” sẽ ngăn cản việc công cụ tìm kiếm truy cập vào một trang hoặc thư
mục, trong khi các “Thẻ tiêu đề robot tùy
chỉnh” chỉ kiểm soát việc lúc nào thì trang hoặc thư mục đó được lập chỉ mục
(index).
· Chức
năng “Robots.txt tùy
chỉnh” và “Thẻ tiêu đề robot tùy
chỉnh” được Blogger đưa ra rất lâu rồi. Đây là chức năng được các Chuyên gia SEO đánh giá
rất cao tuy nhiên các Blog Việt chưa biết các sử dụng nó (thường để ở dạng
mặc định). Hôm nay Mchiase viết bài này để hướng dẫn các bạn. Dưới đây là cài
đặt chuẩn nhất hiện nay mà được các Blog Việt sử dụng, mình cũng đã áp dụng cài
đặt này trên Blog tài
liệu miễn phí của mình.
Bạn
vào Blog => Cài
đặt => Tùy
chọn tìm kiếm (“Robots.txt
tùy chỉnh”
và “Thẻ
tiêu đề robot tùy chỉnh”)
1. Code tối
ưu “Robots tùy chỉnh” Chọn chỉnh
sửa => Yes => Paste đoạn Code dưới
đây và Lưu thay
đổi.
User-agent: Mediapartners-Google Disallow: User-agent: * Allow: / Disallow: /search Disallow: /*?updated-max=* Disallow: *archive.html Sitemap: http://mchiase.blogspot.com/feeds/posts/default?orderby=UPDATED
|
Tag
|
Ý
nghĩa
|
|
User-agent: *
|
Xác định các công cụ tìm kiếm mà quy
tắc được áp dụng.
|
|
Disallow: /
|
Báo cho công cụ tìm kiếm biết nó không
nên "Lục lọi" ở những file này.
|
|
Allow:
/
|
Cho phép công cụ tìm kiếm index đọc tất
cả các nội dung.
|
|
http://mchiase.blogspot.com/
|
Thay thành địa chỉ trang của các
Bạn.
|
2. Cài đặt tối ưu cho “Thẻ tiêu đề robot tùy chỉnh” Chọn chỉnh sửa => Yes => thiết lập như hình bên dưới và Lưu thay đổi.
| Tag | Ý nghĩa |
|
all
|
Cho phép công cụ tìm kiếm lập chỉ
mục.
|
|
noindex
|
Không hiển thị trang này trong kết quả
tìm kiếm.
|
|
nofollow
|
Thông báo cho công cụ tìm kiếm không
nên lần theo các liên kết này.
|
|
none
|
Tương tự như nonidex và
nofollow.
|
|
noarchive
|
Không hiển thị một liên kết "Cached"
trong kết quả tìm kiếm.
|
|
nosnippet
|
Không hiển thị một đoạn mã trong kết
quả tìm kiếm cho trang này.
|
|
noodp
|
Không sử dụng dữ liệu từ các dự án Open
Directory (DMOZ) cho tiêu đề hoặc đoạn hiển thị cho trang
này.
|
|
notranslate
|
Không cung cấp bản dịch của trang này
với các ngôn ngữ khác trong kết quả tìm kiếm.
|
|
noimageindex
|
Không lập chỉ mục cho hình ảnh trên
trang này.
|
|
unavailable_after
|
Không hiển thị trang này trong kết quả
tìm kiếm sau khi ngày/thời gian quy định. Ngày/thời phải được xác định trong các
định dạng RCF 850.
|
☼
Kết luận: Quá
trình cài đặt file Robot.txt cũng không quá khó. Nhưng chủ yếu là các bạn biết
cách dùng sao cho phù hợp với nội dung Blog/Website của
Bạn.
Nếu
bạn thích bài viết này, hãy subscribe blog của tôi để thường xuyên cập nhật
những bài viết hay nhất, mới nhất qua email nhé. Cảm ơn rất nhiều. JJJ
