AI Commerce Hub

Thuật ngữ › Thuật ngữ GL-robots-txt

robots.txt

robots.txt là tệp trên website khai báo bot nào được hoặc không được truy cập; các nền tảng AI nêu cài đặt riêng cho từng bot của họ.

Còn gọi là: robots.txt, chặn bot

Trạng thái
Đã xuất bản
Tác giả
Luan Pham
Người duyệt
Luan Pham
Ngày xuất bản
Ngày kiểm chứng
Nền tảng
ChatGPT Search, Perplexity
Thị trường
Toàn cầu
Loại bằng chứng
Thông tin chính thức của nền tảng
Phiên bản
dev

Định nghĩa

robots.txt là tệp văn bản ở gốc website khai báo cho từng bot được hay không được truy cập phần nào. OpenAI nêu robots.txt cho OAI-SearchBot, GPTBot và ChatGPT-User là các cài đặt riêng, và thay đổi robots.txt cho search có thể mất khoảng 24 giờ (CLM-openai-crawlers-001, CLM-openai-crawlers-002). Perplexity nêu PerplexityBot và Perplexity-User cũng là hai cài đặt độc lập (CLM-perplexity-crawlers-001).

Không phải

Cho phép bot không bảo đảm được trích dẫn (giới hạn ghi trong claim CLM-openai-crawlers-001, CLM-perplexity-crawlers-001). Fetcher do người dùng khởi tạo có thể không tuân theo robots.txt (CLM-openai-crawlers-002, CLM-perplexity-crawlers-001). robots.txt cũng không thay cho AI inclusion control của Google (CLM-google-control-001) hay noindex (thực hành đề xuất của team). Với OpenAI, host/CDN còn phải cho phép các dải IP searchbot mà OpenAI công bố (CLM-openai-chatgpt-search-002).

Nguồn của định nghĩa

Mô tả chung về robots.txt là kiến thức web phổ biến, không phải claim; phần hành vi với bot AI dựa trên nguồn OpenAI và Perplexity. Hai trang nguồn không có ngày công bố.

Nguồn & bằng chứng

CLM-openai-crawlers-001

OpenAI công bố ba user agent độc lập: OAI-SearchBot đưa website vào tính năng search của ChatGPT, GPTBot thu thập nội dung có thể dùng cho training, và ChatGPT-User phục vụ hành động do người dùng khởi tạo; robots.txt cho từng bot là cài đặt riêng biệt.

Loại bằng chứng
Thông tin chính thức của nền tảng
Nền tảng
ChatGPT Search
Thị trường
Toàn cầu
Phạm vi
Danh sách user agent trong trang Overview of OpenAI Crawlers, đọc 2026-10-10.
Giới hạn
Trang không có ngày; không bảo đảm site được trích dẫn khi cho phép OAI-SearchBot; chưa xét ChatGPT Shopping.
Ngày kiểm chứng
Nguồn
  • Overview of OpenAI Crawlers — OpenAI; Tài liệu chính thức; nguồn xác minh 18/10/2026
    Vị trí: OAI-SearchBot; GPTBot; ChatGPT-User rows

CLM-openai-crawlers-002

Theo OpenAI, ChatGPT-User không dùng để crawl tự động, robots.txt có thể không áp dụng vì hành động do người dùng khởi tạo, và bot này không quyết định nội dung có xuất hiện trong Search hay không; muốn opt out khỏi search dùng OAI-SearchBot; thay đổi robots.txt cho search có thể mất khoảng 24 giờ.

Loại bằng chứng
Thông tin chính thức của nền tảng
Nền tảng
ChatGPT Search
Thị trường
Toàn cầu
Phạm vi
Hành vi robots.txt theo trang crawler của OpenAI.
Giới hạn
Không nói về cơ chế khác ngoài robots.txt; không bao gồm bot của nền tảng khác.
Ngày kiểm chứng
Nguồn
  • Overview of OpenAI Crawlers — OpenAI; Tài liệu chính thức; nguồn xác minh 18/10/2026
    Vị trí: ChatGPT-User row; OAI-SearchBot row

CLM-perplexity-crawlers-001

Perplexity công bố PerplexityBot để hiển thị và link website trong kết quả Perplexity (không dùng để crawl cho foundation model) và Perplexity-User cho hành động do người dùng khởi tạo, thường bỏ qua robots.txt; mỗi cài đặt hoạt động độc lập.

Loại bằng chứng
Thông tin chính thức của nền tảng
Nền tảng
Perplexity
Thị trường
Toàn cầu
Phạm vi
Trang Perplexity Crawlers, đọc 2026-10-10.
Giới hạn
Trang không có ngày; không bảo đảm được trích dẫn khi cho phép PerplexityBot; thay đổi robots.txt có thể mất tới 24 giờ.
Ngày kiểm chứng
Nguồn
  • Perplexity Crawlers — Perplexity; Tài liệu chính thức; nguồn xác minh 10/10/2026
    Vị trí: PerplexityBot; Perplexity-User

CLM-google-control-001

Google có điều khiển Search generative AI với ba lựa chọn Include, Exclude và Inherit control from parent; điều khiển áp dụng cho AI Overviews, AI Mode và các tính năng generative AI trong Discover, và theo trang Google đã triển khai cho mọi website trên toàn cầu tính đến 31/08/2026.

Loại bằng chứng
Thông tin chính thức của nền tảng
Nền tảng
Google AI Overviews (AIO), Google AI Mode
Thị trường
Toàn cầu
Phạm vi
Search Console property; trạng thái theo tài liệu đọc lại 2026-10-18. Include là mặc định cho mọi property, Inherit là mặc định cho property có parent.
Giới hạn
Không nói tài khoản cụ thể có hiển thị control hay không; không nêu ngôn ngữ hỗ trợ của các tính năng AI; Discover không phải AIO/AI Mode.
Ngày kiểm chứng
Nguồn

CLM-openai-chatgpt-search-002

OpenAI nói ChatGPT xếp hạng kết quả tìm kiếm theo nhiều yếu tố nhằm giúp người dùng tìm thông tin liên quan, đáng tin cậy, và vị trí hiển thị không được bảo đảm; để website đủ điều kiện xuất hiện, cần cho OAI-SearchBot crawl và bảo đảm host/CDN cho phép traffic từ các dải IP searchbot mà OpenAI công bố.

Loại bằng chứng
Thông tin chính thức của nền tảng
Nền tảng
ChatGPT Search
Thị trường
Toàn cầu
Phạm vi
Mục 'Make your website available in search results' của trang trợ giúp, đọc ngày 2026-10-17, CTO đọc lại in-app 2026-10-18.
Giới hạn
Trang không liệt kê các yếu tố xếp hạng; cho phép OAI-SearchBot là điều kiện đủ điều kiện (eligibility), không bảo đảm được xuất hiện hay được trích dẫn.
Ngày kiểm chứng
Nguồn
  • Searching the web with ChatGPT — OpenAI; Trung tâm trợ giúp; nguồn xác minh 18/10/2026
    Vị trí: Make your website available in search results