File robots.txt là gì?
File robots.txt là một file văn bản đơn giản giúp các công cụ tìm kiếm (như Google, Bing) biết được những trang nào trên website được phép hoặc không được phép thu thập thông tin.
Hướng dẫn sử dụng
1. Chọn các tùy chọn bên dưới để cấu hình file robots.txt
2. Xem trước file robots.txt được tạo tự động
3. Tải file về và upload lên thư mục gốc của website (ví dụ: https://example.com/robots.txt)
Cấu hình Robots.txt
User-agent (Trình thu thập thông tin)
Chặn truy cập (Disallow)
Chọn các thư mục bạn muốn chặn bot truy cập:
Thêm đường dẫn tùy chỉnh
Cho phép truy cập (Allow)
Chỉ định đường dẫn cụ thể được phép truy cập (tùy chọn):
Sitemap
Chỉ định URL sitemap của bạn (tùy chọn):
Crawl Delay
Thiết lập độ trễ giữa các lần thu thập (tính bằng giây):
Xem trước Robots.txt
# File robots.txt đang được tạo... # Chọn các tùy chọn bên trái để xem kết quả
Kiểm tra file robots.txt
Sau khi tạo, bạn có thể kiểm tra file robots.txt với Google Search Console để đảm bảo cấu hình chính xác.