robots.txt cho bot AI – Mia Branding
GEO & AI Marketing

robots.txt Cho Bot AI: Nên Mở Bot Nào, Chặn Bot Nào

Trước khi bàn chuyện viết gì để ChatGPT nhắc tới thương hiệu, có một việc cần kiểm tra trước: bot của các nền tảng AI có vào đọc được website của bạn không. Nhiều website Việt đang chặn bot AI mà chủ web không hề biết, do một dòng cũ trong robots.txt, do plugin bảo mật, hoặc do tường lửa của nhà cung cấp hosting.

Bài này giải thích từng bot AI làm gì, nên mở bot nào, và cách tự kiểm tra trong 10 phút.

robots.txt là gì

robots.txt là một file văn bản nằm ở địa chỉ tenmien.vn/robots.txt. Bot của các công cụ tìm kiếm và nền tảng AI đọc file này trước khi vào website để biết trang nào được phép đọc. Các bot lớn đều tuân theo file này, nên chỉ cần một dòng Disallow: / đặt sai chỗ là cả website biến mất khỏi tầm nhìn của nền tảng đó.

Bot AI nào đang đi đọc website của bạn

Mỗi nền tảng AI thường có vài bot với vai trò khác nhau. Điểm quan trọng nhất cần phân biệt: bot dùng để huấn luyện mô hình và bot dùng để tìm kiếm, trả lời câu hỏi.

Nền tảngTên botDùng để làm gì
OpenAI (ChatGPT)OAI-SearchBotĐọc trang để hiện trong kết quả tìm kiếm của ChatGPT
ChatGPT-UserMở trang khi người dùng hỏi và ChatGPT cần đọc link đó
GPTBotThu thập dữ liệu để huấn luyện mô hình
Anthropic (Claude)Claude-SearchBotĐọc trang phục vụ tìm kiếm trong Claude
Claude-UserMở trang theo yêu cầu của người dùng
ClaudeBotThu thập dữ liệu huấn luyện
PerplexityPerplexityBotLập chỉ mục cho kết quả của Perplexity
Perplexity-UserMở trang khi người dùng hỏi
GoogleGooglebotGoogle Search, bao gồm cả AI Overviews và AI Mode
Google-ExtendedKhông phải bot riêng, là một “nhãn” cho phép hoặc không cho Google dùng nội dung để huấn luyện và trả lời trong Gemini
MicrosoftBingbotBing và Copilot
Cốc Cốccoccocbot-webCông cụ tìm kiếm Cốc Cốc và trợ lý AI trong trình duyệt

Một chi tiết hay bị hiểu nhầm: chặn Google-Extended không làm website biến mất khỏi AI Overviews. AI Overviews lấy nội dung qua Googlebot, nên muốn xuất hiện ở đó thì chỉ cần website được Google lập chỉ mục bình thường.

Nên mở bot nào, chặn bot nào

Với phần lớn doanh nghiệp, shop và thương hiệu cá nhân, mục tiêu là được AI nhắc tới khi khách hỏi. Vì vậy mình khuyên:

  • Luôn mở các bot tìm kiếm và bot đọc theo yêu cầu người dùng: OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Googlebot, Bingbot, coccocbot-web. Chặn nhóm này là tự rút tên mình khỏi câu trả lời.
  • Bot huấn luyện (GPTBot, ClaudeBot, Google-Extended, CCBot của Common Crawl) là lựa chọn của bạn. Nếu bạn bán nội dung trả phí (khoá học, ebook, báo trả phí) và không muốn nội dung bị đưa vào dữ liệu huấn luyện, có thể chặn. Nếu bạn muốn AI “biết” thương hiệu từ gốc, nên mở.

Mia Branding đang mở toàn bộ, vì nội dung trên blog sinh ra để được đọc và trích dẫn. Trang sản phẩm số trả phí thì nội dung thật nằm trong file tải về, không nằm trên trang, nên không có gì phải giấu.

Mẫu robots.txt cho website WordPress

Đây là mẫu mở cho bot AI, chặn trang quản trị và giỏ hàng (những trang không có giá trị trả lời câu hỏi):

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /gio-hang/
Disallow: /thanh-toan/
Disallow: /tai-khoan/

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /

Sitemap: https://tenmien.vn/sitemap_index.xml

Đổi đường dẫn giỏ hàng, thanh toán theo website của bạn và đổi dòng Sitemap về đúng địa chỉ sitemap (Rank Math, Yoast thường là /sitemap_index.xml).

Nếu muốn chặn bot huấn luyện, thêm:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
Disallow: /

robots.txt mở rồi nhưng bot vẫn bị chặn

Đây là trường hợp mình gặp nhiều nhất khi audit website Việt. robots.txt ghi “cho phép” nhưng bot vẫn nhận lỗi 403, vì có một lớp khác chặn trước:

  • Cloudflare: từ tháng 7/2025, Cloudflare mặc định chặn bot AI với tên miền mới thêm vào. Vào Security → Bots kiểm tra mục chặn AI crawler và Bot Fight Mode.
  • Plugin bảo mật WordPress như Wordfence, iThemes, All In One WP Security có tuỳ chọn chặn bot “lạ” hoặc giới hạn tốc độ truy cập.
  • Tường lửa của hosting (Imunify360, ModSecurity) ở một số nhà cung cấp hosting trong nước chặn theo User-Agent. Trường hợp này phải nhắn kỹ thuật hosting mở.

Tự kiểm tra trong 10 phút

  1. Mở tenmien.vn/robots.txt trên trình duyệt, tìm các dòng Disallow: / đứng ngay dưới tên bot AI hoặc dưới User-agent: *.
  2. Giả làm bot để xem server trả về gì. Mở Terminal (Mac) hoặc PowerShell (Windows) và chạy:
    curl -I -A "OAI-SearchBot" https://tenmien.vn/
    Kết quả HTTP/2 200 là bot vào được. 403 hoặc 503 là đang bị chặn ở tường lửa.
  3. Lặp lại với PerplexityBot, Claude-SearchBot, Googlebot.
  4. Kiểm tra thêm một trang bài viết và một trang sản phẩm, không chỉ trang chủ.

Nếu không quen chạy lệnh, phần Chẩn đoán kỹ thuật của GeoUp đọc robots.txt, gửi thử một request giả làm GPTBot để so với trình duyệt thường, kiểm tra llms.txt, rồi chỉ ra bot nào đang bị chặn.

Câu hỏi thường gặp

Mở bot AI có làm website chậm không?
Với website vừa và nhỏ, lượng truy cập từ bot AI rất nhỏ so với bot Google. Nếu thấy server quá tải, nên giới hạn tốc độ ở tường lửa thay vì chặn hẳn.

Sửa robots.txt xong bao lâu thì AI nhắc tới?
Bot thường đọc lại robots.txt trong vài ngày. Nhưng mở cửa chỉ là điều kiện cần. AI có nhắc tới hay không còn phụ thuộc nội dung và mức độ thương hiệu được nhắc ở các nguồn khác.

Website không có file robots.txt thì sao?
Không có file nghĩa là bot được đọc tất cả. Vẫn nên tạo file để khai báo sitemap.

Brand Manager nhãn hàng CANON tại Golden Pen Former Marketing Manager tại RTC Technology & SaoKim Group Giảng viên GIGAN Training Center Admin Cộng đồng Marketing và Branding Việt Nam 7+ năm kinh nghiệm — 300+ dự án Brand Name, Slogan, Brand Story, Social Branding, IMC cho các thương hiệu như Viettel Post, Lộc Trời, QP Group, An Nam Phát, CC1…

"Hãy cứ tích cực và lạc quan trên hành trình phía trước. Đừng quá sốt ruột với đích đến." "Hãy 'tròn vai' ở vị trí mình đang đảm nhận, bởi chính những điều tưởng như nhỏ bé hôm nay sẽ trở thành nền tảng cho bước tiến tiếp theo trong sự nghiệp." — Mia Phan

Để lại một bình luận