Hướng dẫn tạo và chỉnh sửa file robots.txt thủ công

Giới thiệu

File robots.txt trên website WordPress là một tệp văn bản nằm ở thư mục gốc của trang web, được sử dụng để cung cấp hướng dẫn cho các công cụ tìm kiếm về cách thu thập dữ liệu và lập chỉ mục nội dung của trang web đó.

Cấu trúc và Chức năng của File robots.txt

1. User-agent: Dùng để chỉ định các công cụ tìm kiếm hoặc bot cụ thể.
2. Disallow: Dùng để ngăn chặn các bot truy cập vào các trang hoặc thư mục cụ thể trên trang web.
3. Allow: (Dùng trong trường hợp cụ thể với một số bot) để cho phép truy cập vào các trang hoặc thư mục nhất định.
4. Sitemap: Chỉ định vị trí của sitemap (bản đồ trang web), giúp các bot hiểu rõ cấu trúc trang web.

Ví dụ về File robots.txt mặc định

Mặc định khi các bạn sử dụng các Plugin SEO thông dụng như Rank Math Seo hay Yoast Seo thì mặc định Plugin sẽ tạo sẵn cho chúng ta một File robots.txt với nội dung mặc định như bên dưới:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.example.com/sitemap.xml

Vậy nếu bạn muốn thay đổi nội dung file robots.txt để phù hợp riêng với nhu cầu website của bạn thì các bạn có thể làm như sau:

Bước 1: Truy cập vào Document root của website

Tại đường dẫn Document root của website, bạn kiểm tra xem đã có file robots.txt hay chưa, nếu chưa có thì bạn có thể tạo mới như hình.

Bước 2: Chỉnh sửa nội dung robots.txt

Bạn chuột phải vào file robots.txt và chọn chỉnh sửa (Edit)

Bây giờ hãy thêm nội dung cấu hình riêng của bạn vào và thực hiệnn save lại.

Bước 3: Kiểm tra kết quả

Sau khi đã chỉnh sửa nội dung, các bạn hãy ra trình duyệt truy cập theo đường dẫn https://websitecuaban.com/robots.txt để kiểm tra, nếu hiện thị ra đúng nội dung đã chỉnh sửa là thành công.

Như vậy mình đã hướng dẫn các bạn cách chỉnh sửa nội dung file robots.txt vô cùng đơn giản và nhanh chóng. Hy vọng bài viết sẽ giúp ích cho các bạn.

Chúc các bạn thực hiện thành công.!