Trước khi bàn chuyện viết gì để ChatGPT nhắc tới thương hiệu, có một việc cần kiểm tra trước: bot của các nền tảng AI có vào đọc được website của bạn không. Nhiều website Việt đang chặn bot AI mà chủ web không hề biết, do một dòng cũ trong robots.txt, do plugin bảo mật, hoặc do tường lửa của nhà cung cấp hosting.
Bài này giải thích từng bot AI làm gì, nên mở bot nào, và cách tự kiểm tra trong 10 phút.
robots.txt là gì
robots.txt là một file văn bản nằm ở địa chỉ tenmien.vn/robots.txt. Bot của các công cụ tìm kiếm và nền tảng AI đọc file này trước khi vào website để biết trang nào được phép đọc. Các bot lớn đều tuân theo file này, nên chỉ cần một dòng Disallow: / đặt sai chỗ là cả website biến mất khỏi tầm nhìn của nền tảng đó.
Bot AI nào đang đi đọc website của bạn
Mỗi nền tảng AI thường có vài bot với vai trò khác nhau. Điểm quan trọng nhất cần phân biệt: bot dùng để huấn luyện mô hình và bot dùng để tìm kiếm, trả lời câu hỏi.
| Nền tảng | Tên bot | Dùng để làm gì |
|---|---|---|
| OpenAI (ChatGPT) | OAI-SearchBot | Đọc trang để hiện trong kết quả tìm kiếm của ChatGPT |
| ChatGPT-User | Mở trang khi người dùng hỏi và ChatGPT cần đọc link đó | |
| GPTBot | Thu thập dữ liệu để huấn luyện mô hình | |
| Anthropic (Claude) | Claude-SearchBot | Đọc trang phục vụ tìm kiếm trong Claude |
| Claude-User | Mở trang theo yêu cầu của người dùng | |
| ClaudeBot | Thu thập dữ liệu huấn luyện | |
| Perplexity | PerplexityBot | Lập chỉ mục cho kết quả của Perplexity |
| Perplexity-User | Mở trang khi người dùng hỏi | |
| Googlebot | Google Search, bao gồm cả AI Overviews và AI Mode | |
| Google-Extended | Không phải bot riêng, là một “nhãn” cho phép hoặc không cho Google dùng nội dung để huấn luyện và trả lời trong Gemini | |
| Microsoft | Bingbot | Bing và Copilot |
| Cốc Cốc | coccocbot-web | Công cụ tìm kiếm Cốc Cốc và trợ lý AI trong trình duyệt |
Một chi tiết hay bị hiểu nhầm: chặn Google-Extended không làm website biến mất khỏi AI Overviews. AI Overviews lấy nội dung qua Googlebot, nên muốn xuất hiện ở đó thì chỉ cần website được Google lập chỉ mục bình thường.
Nên mở bot nào, chặn bot nào
Với phần lớn doanh nghiệp, shop và thương hiệu cá nhân, mục tiêu là được AI nhắc tới khi khách hỏi. Vì vậy mình khuyên:
- Luôn mở các bot tìm kiếm và bot đọc theo yêu cầu người dùng: OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Googlebot, Bingbot, coccocbot-web. Chặn nhóm này là tự rút tên mình khỏi câu trả lời.
- Bot huấn luyện (GPTBot, ClaudeBot, Google-Extended, CCBot của Common Crawl) là lựa chọn của bạn. Nếu bạn bán nội dung trả phí (khoá học, ebook, báo trả phí) và không muốn nội dung bị đưa vào dữ liệu huấn luyện, có thể chặn. Nếu bạn muốn AI “biết” thương hiệu từ gốc, nên mở.
Mia Branding đang mở toàn bộ, vì nội dung trên blog sinh ra để được đọc và trích dẫn. Trang sản phẩm số trả phí thì nội dung thật nằm trong file tải về, không nằm trên trang, nên không có gì phải giấu.
Mẫu robots.txt cho website WordPress
Đây là mẫu mở cho bot AI, chặn trang quản trị và giỏ hàng (những trang không có giá trị trả lời câu hỏi):
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /gio-hang/
Disallow: /thanh-toan/
Disallow: /tai-khoan/
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /
Sitemap: https://tenmien.vn/sitemap_index.xmlĐổi đường dẫn giỏ hàng, thanh toán theo website của bạn và đổi dòng Sitemap về đúng địa chỉ sitemap (Rank Math, Yoast thường là /sitemap_index.xml).
Nếu muốn chặn bot huấn luyện, thêm:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
Disallow: /robots.txt mở rồi nhưng bot vẫn bị chặn
Đây là trường hợp mình gặp nhiều nhất khi audit website Việt. robots.txt ghi “cho phép” nhưng bot vẫn nhận lỗi 403, vì có một lớp khác chặn trước:
- Cloudflare: từ tháng 7/2025, Cloudflare mặc định chặn bot AI với tên miền mới thêm vào. Vào Security → Bots kiểm tra mục chặn AI crawler và Bot Fight Mode.
- Plugin bảo mật WordPress như Wordfence, iThemes, All In One WP Security có tuỳ chọn chặn bot “lạ” hoặc giới hạn tốc độ truy cập.
- Tường lửa của hosting (Imunify360, ModSecurity) ở một số nhà cung cấp hosting trong nước chặn theo User-Agent. Trường hợp này phải nhắn kỹ thuật hosting mở.
Tự kiểm tra trong 10 phút
- Mở
tenmien.vn/robots.txttrên trình duyệt, tìm các dòngDisallow: /đứng ngay dưới tên bot AI hoặc dướiUser-agent: *. - Giả làm bot để xem server trả về gì. Mở Terminal (Mac) hoặc PowerShell (Windows) và chạy:
curl -I -A "OAI-SearchBot" https://tenmien.vn/
Kết quảHTTP/2 200là bot vào được.403hoặc503là đang bị chặn ở tường lửa. - Lặp lại với
PerplexityBot,Claude-SearchBot,Googlebot. - Kiểm tra thêm một trang bài viết và một trang sản phẩm, không chỉ trang chủ.
Nếu không quen chạy lệnh, phần Chẩn đoán kỹ thuật của GeoUp đọc robots.txt, gửi thử một request giả làm GPTBot để so với trình duyệt thường, kiểm tra llms.txt, rồi chỉ ra bot nào đang bị chặn.
Câu hỏi thường gặp
Mở bot AI có làm website chậm không?
Với website vừa và nhỏ, lượng truy cập từ bot AI rất nhỏ so với bot Google. Nếu thấy server quá tải, nên giới hạn tốc độ ở tường lửa thay vì chặn hẳn.
Sửa robots.txt xong bao lâu thì AI nhắc tới?
Bot thường đọc lại robots.txt trong vài ngày. Nhưng mở cửa chỉ là điều kiện cần. AI có nhắc tới hay không còn phụ thuộc nội dung và mức độ thương hiệu được nhắc ở các nguồn khác.
Website không có file robots.txt thì sao?
Không có file nghĩa là bot được đọc tất cả. Vẫn nên tạo file để khai báo sitemap.


Để lại một bình luận