AI Commerce Hub

Thuật ngữ › Thuật ngữ GL-crawler-user-fetcher

Crawler và user-triggered fetcher

Theo OpenAI và Perplexity, crawler phục vụ một tính năng cụ thể (search hoặc training); fetcher do người dùng khởi tạo truy cập trang khi người dùng yêu cầu.

Còn gọi là: crawler, user-triggered fetcher, fetcher do người dùng khởi tạo, OAI-SearchBot, GPTBot, ChatGPT-User, PerplexityBot, Perplexity-User

Trạng thái
Đã cập nhật
Tác giả
Luan Pham
Người duyệt
Luan Pham
Ngày xuất bản
Ngày kiểm chứng
Nền tảng
ChatGPT Search, Perplexity
Thị trường
Toàn cầu
Loại bằng chứng
Thông tin chính thức của nền tảng
Phiên bản
dev

Định nghĩa

OpenAI công bố ba user agent độc lập: OAI-SearchBot cho tính năng search, GPTBot cho nội dung có thể dùng training, và ChatGPT-User cho hành động do người dùng khởi tạo (CLM-openai-crawlers-001). Perplexity công bố PerplexityBot để hiển thị và link website, và Perplexity-User cho hành động do người dùng khởi tạo, thường bỏ qua robots.txt (CLM-perplexity-crawlers-001).

Không phải

Theo OpenAI/Perplexity, cho phép bot search không đồng nghĩa cho phép training và ngược lại; mỗi cài đặt robots.txt riêng. Theo OpenAI, ChatGPT-User không quyết định nội dung có xuất hiện trong Search (CLM-openai-crawlers-002). Cho phép bot không bảo đảm được trích dẫn.

Nguồn của định nghĩa

Hoàn toàn dựa trên nguồn nền tảng (OpenAI, Perplexity); cách phân loại “crawler / user-triggered fetcher” là cách gọi gộp của thư viện.

Nguồn & bằng chứng

CLM-openai-crawlers-001

OpenAI công bố ba user agent độc lập: OAI-SearchBot đưa website vào tính năng search của ChatGPT, GPTBot thu thập nội dung có thể dùng cho training, và ChatGPT-User phục vụ hành động do người dùng khởi tạo; robots.txt cho từng bot là cài đặt riêng biệt.

Loại bằng chứng
Thông tin chính thức của nền tảng
Nền tảng
ChatGPT Search
Thị trường
Toàn cầu
Phạm vi
Danh sách user agent trong trang Overview of OpenAI Crawlers, đọc 2026-10-10.
Giới hạn
Trang không có ngày; không bảo đảm site được trích dẫn khi cho phép OAI-SearchBot; chưa xét ChatGPT Shopping.
Ngày kiểm chứng
Nguồn
  • Overview of OpenAI Crawlers — OpenAI; Tài liệu chính thức; nguồn xác minh 18/10/2026
    Vị trí: OAI-SearchBot; GPTBot; ChatGPT-User rows

CLM-openai-crawlers-002

Theo OpenAI, ChatGPT-User không dùng để crawl tự động, robots.txt có thể không áp dụng vì hành động do người dùng khởi tạo, và bot này không quyết định nội dung có xuất hiện trong Search hay không; muốn opt out khỏi search dùng OAI-SearchBot; thay đổi robots.txt cho search có thể mất khoảng 24 giờ.

Loại bằng chứng
Thông tin chính thức của nền tảng
Nền tảng
ChatGPT Search
Thị trường
Toàn cầu
Phạm vi
Hành vi robots.txt theo trang crawler của OpenAI.
Giới hạn
Không nói về cơ chế khác ngoài robots.txt; không bao gồm bot của nền tảng khác.
Ngày kiểm chứng
Nguồn
  • Overview of OpenAI Crawlers — OpenAI; Tài liệu chính thức; nguồn xác minh 18/10/2026
    Vị trí: ChatGPT-User row; OAI-SearchBot row

CLM-perplexity-crawlers-001

Perplexity công bố PerplexityBot để hiển thị và link website trong kết quả Perplexity (không dùng để crawl cho foundation model) và Perplexity-User cho hành động do người dùng khởi tạo, thường bỏ qua robots.txt; mỗi cài đặt hoạt động độc lập.

Loại bằng chứng
Thông tin chính thức của nền tảng
Nền tảng
Perplexity
Thị trường
Toàn cầu
Phạm vi
Trang Perplexity Crawlers, đọc 2026-10-10.
Giới hạn
Trang không có ngày; không bảo đảm được trích dẫn khi cho phép PerplexityBot; thay đổi robots.txt có thể mất tới 24 giờ.
Ngày kiểm chứng
Nguồn
  • Perplexity Crawlers — Perplexity; Tài liệu chính thức; nguồn xác minh 10/10/2026
    Vị trí: PerplexityBot; Perplexity-User