Seo với file robots

Seo với file robotsThực chất, file robots.txt là một tập tin văn bản đơn giản (không chứa mã HTML) được đặt trong thư mục gốc của web site ví dụ *http://www.example.com/robots.txt. Vậy, làm thế nào để tạo ra một file robots.txt? Rất đơn giản, bạn có thể mở chương trình Notepad hay bất cứ chương trình soạn thảo văn bản nào, lưu file với tên robots.txt là xong. Các dòng lệnh trong file này có cấu trúc như sau: User-agent: googlebot Disallow: /cgi-bin/ Trong đó User-agent: là đại diện của một search engine, Googlebot là spider của Google. ...
Nội dung trích xuất từ tài liệu:
Seo với file robots Seo với file robotsThực chất, file robots.txt là một tập tin văn bảnđơn giản (không chứa mã HTML) được đặttrong thư mục gốc của web siteví dụ *http://www.example.com/robots.txt.Vậy, làm thế nào để tạo ra một file robots.txt?Rất đơn giản, bạn có thể mở chương trìnhNotepad hay bất cứ chương trình soạn thảo vănbản nào, lưu file với tên robots.txt là xong. Cácdòng lệnh trong file này có cấu trúc như sau:User-agent: googlebotDisallow: /cgi-bin/Trong đó User-agent: là đại diện của một searchengine, Googlebot là spider của Google. Trongví dụ này, chỉ các spider của Google là đượcphép index web site. Disallow: là không chophép thực hiện điều gì đó. ở ví dụ trên là khôngcho phép các spider index thư mục “cgi-bin”trong web site.robots.txtMột ví dụ nữa:User-agent: googlebotDisallow: /supportTất cả các trang nằm trong thư mục support, haysupport-desk sẽ không được index.Nếu bạn muốn tất cả các search engine có thểindex web site của bạn, nhưng không được indexcác trang trong thư mục “cgi-bin” thì sử dụnglệnh sau:User-agent: *Disallow: /cgi-bin/Những điều nên tránh: +Không sử dụng các chú thích trong filerobots.txt, nó có thể làm cho các spider củasearch engine bị lầm lẫn.Ví dụ: ”Disallow: support # Don’t index thesupport directory” might be misinterepreted as“Disallow: support#Don’t index the supportdirectory”. + Không được để khoảng trắng ở đầu dònglệnh Không thay đổi trật tự của các dòng lệnh.Ví dụ:Disallow: /supportUser-agent: * Không sử dụng quá một thư mục trong dònglệnh Disallow.Ví dụ:User-agent: *Disallow: /support /cgi-bin/ /images/Các search engine không hiểu định dạng trên.bạn nên viết thế này:User-agent: *Disallow: /supportDisallow: /cgi-bin/Disallow: /images/ Phải chắc chắn các mệnh đề, từ sử dụngtrong lệnh là đúng. Ví dụ, thư mục của bạn là“cgi-bin” (viết thường, không viết hoa), nhưngkhí vào lệnh, bạn lại viết là “Cgi-Bin” thì cácspider sẽ “bó tay”. Không nên dùng lệnh Allow trong filerobots.txt, bởi vì trong web site của bạn chắcchắn sẽ có một số trang hoặc một số thành phầnbạn không muốn bị người khác “nhòm ngó”. nếubạn sử dụng lệnh Allow, tất cả mọi ngóc ngáchtrong web site của bạn sẽ bị index!