Hướng dẫn tạo file robots.txt

File Robots.txt được sử dụng để hướng dẫn công cụ tìm kiếm tự động đến những trang nào mà bạn muốn nó tìm kiếm và sau đó thì index trang đó. Hầu hết trang web nào cũng có những thư mục và files không cần đến robot của công cụ tìm kiếm ghé thăm. Do vậy tạo ra file robots.txt có thể giúp bạn trong SEO.

                                           

 Hình 1 : Hướng dẫn tạo file robots.txt

Vậy làm thế nào để tạo được file robots.txt. Sau đây Tam Nguyên sẽ hướng dẫn cho các bạn cách tạo file robots.txt

 Tạo file robots.txt là một trong những công việc cần làm khi  seo onpage .Khi search engine crawl một website nào đó thì tập tin đầu tiên nó để ý đến là robots.txt. Vậy robots.txt là một file dạng txt có chứa các câu lệnh để định ra các thành phần với quyền hạn riêng biệt cho từng bọ tìm kiếm.

Thực chất, file robots.txt là một tập tin văn bản đơn giản được đặt trong thư mục gốc của website.

- ví dụ file robots.txt của seo tổng thể là :   http://quangcaotop.com/robots.txt

 Để tạo một file robots.txt rất đơn giản. Việc đầu tiên các bạn mở file notepad và lưu file với tên robots.txt rồi sau đó ghi các dòng lệnh với cấu trúc như sau :

Nếu bạn muốn tất cả các search engine có thể index website của bạn, nhưng không được index các trang trong thư mục “cgi-bin” thì sử dụng lệnh sau:

 

Những điều nên tránh:

- Không sử dụng các chú thích trong file robots.txt, nó có thể làm cho các spider của search engine bị lầm lẫn.

 Ví dụ: 

“Disallow: support # Don’t index the support directory”.

- Không được để khoảng trắng ở đầu dòng lệnh

Ví dụ:

 
- Không thay đổi trật tự của các dòng lệnh.

 Ví dụ:

 

 Không sử dụng quá một thư mục trong dòng lệnh Disallow.

 Ví dụ:

 

- Các search engine không hiểu định dạng trên. bạn nên viết thế này:

- Phải chắc chắn các mệnh đề, từ sử dụng trong lệnh là đúng.

Ví dụ:

Thư mục của bạn là “cgi-bin” (viết thường, không viết hoa), nhưng khí vào lệnh, bạn lại viết là “Cgi-Bin” thì các search engine không hiểu được.

Không nên dùng lệnh Allow trong file robots.txt. Bởi vì trong website của bạn chắc chắn sẽ có một số trang hoặc một số thành phần bạn không muốn bị người khác “biết”. nếu bạn sử dụng lệnh Allow, tất cả mọi ngóc ngách trong website của bạn sẽ bị index. 

Bạn có thể kiểm tra file robots.txt của site bằng cách vào Webmaster Tools của Google vào Site configuration->Crawler access. Copy nội dung file robots.txt dán vào ô đâu tiên. Nhấn vào nút Test. Kết quả sẽ hiển thị ở dưới cùng.

Chúc các bạn thành công!

Nếu bạn có nhu cầu sử dụng dịch vụ SEO vui lòng liên hệ:

Công ty TNHH Công nghệ và Truyền thông Tam Nguyên
 Điện thoại: 043.7524351 - Hotline: 0984.966.806

Email: lienhe@tamnguyen.vn - website: www.quangcaotop.com