Xác minh bằng chứng và xử lý kết quả chưa xác định

Vấn đề và mục tiêu

Ứng dụng đo (AI Commerce Tracker) trả về một số câu hỏi có trạng thái Chưa xác định (không đọc được câu trả lời, không tách được lời văn khỏi nguồn, nguồn trích dẫn thiếu). Nếu bỏ qua, tỷ lệ báo cáo bị lệch; nếu đoán, team có thể sửa website dựa trên dữ liệu không đọc được. Mục tiêu của hướng dẫn này là: với mỗi câu hỏi, quyết định Phân tích được / Loại khỏi kỳ đo / Chưa xác định dựa trên dữ liệu gốc, và báo số liệu kèm mẫu số.

Hai trục của mỗi câu hỏi. Trục 1, dữ liệu của câu hỏi có dùng được không: Phân tích được (tính vào mẫu số), Loại khỏi kỳ đo kèm lý do như sai bề mặt AI, sai ngôn ngữ, đo trùng (không tính vào mẫu số), hoặc Chưa xác định (dữ liệu thiếu, cấu trúc chưa hỗ trợ). Trục 2, kết quả, chỉ áp dụng cho câu hỏi Phân tích được: Được đề xuất / Chỉ đề xuất thương hiệu khác / Không có đề xuất mua hàng / Chưa xác định. Mẫu số luôn là câu hỏi có dữ liệu phân tích được.

Quan sát làm căn cứ

• Bảng kết quả có nhiều câu hỏi Chưa xác định, cảnh báo chất lượng, hoặc một câu hỏi đổi kết quả bất thường giữa hai lần chạy.
• Trước khi dùng bất kỳ hướng dẫn sửa nội dung nào (ví dụ PB-R02): đây là bước chặn đầu tiên.

Chưa thể kết luận từ hướng dẫn này: nguyên nhân AI trả lời như vậy; chất lượng của website; hiệu quả của bất kỳ thay đổi nào. Hướng dẫn chỉ xác định dữ liệu có đủ tin cậy để đọc hay không.

Điều cần kiểm tra

1. Dữ liệu gốc của từng quan sát (ảnh chụp hoặc text gốc), thời điểm, bề mặt AI, ngôn ngữ và thị trường.
2. Câu hỏi/bộ câu hỏi theo dõi đã dùng, để chắc chắn lần chạy so sánh cùng một bộ.
3. Với Google, báo cáo Generative AI performance có sẵn trong Search Console cho biết impressions của AI Overviews và AI Mode theo page, country, device, date (CLM-google-report-001). Báo cáo này có thể không hiển thị khi site có quá ít impressions (CLM-google-report-002). Nó đo impressions, không thay thế đánh giá từng câu trả lời.
4. Với Bing/Copilot, Citation Share là chỉ số quan sát về phần citations của một grounding query (truy vấn mà Bing dùng làm đơn vị tính citations), không phải thứ hạng (CLM-bing-ai-performance-002). Thực hành đề xuất của team (không phải nội dung nguồn): không ghép con số này với tỷ lệ từ ứng dụng thành một điểm chung, vì mẫu số khác nhau.

Điều kiện cần

• Quyền mở kết quả đo và dữ liệu gốc. Không cần quyền sửa website.
• Người phụ trách: người vận hành/người phân tích. Công sức ước tính: 1-3 giờ cho một kỳ đo vừa (khoảng 20-40 câu hỏi); tăng theo số câu hỏi Chưa xác định.

Các bước

1. Xuất danh sách câu hỏi đã đo của kỳ; thêm cột: bề mặt AI, ngôn ngữ và thị trường, trạng thái ban đầu (ứng dụng gán), quyết định của bạn.
2. Với mỗi câu hỏi Chưa xác định hoặc có cảnh báo, mở dữ liệu gốc. Ghi lý do: không có câu trả lời AI; câu trả lời bị cắt; không thấy nguồn; đăng nhập/chặn; khác ngôn ngữ và thị trường.
3. Kiểm tra lại thủ công trên đúng bề mặt AI, cùng ngôn ngữ và thị trường, nếu cần. Ghi ngày giờ kiểm tra lại; kết quả kiểm tra lại là một quan sát mới, không ghi đè bản gốc.
4. Gán quyết định: Phân tích được (đọc được, đúng bề mặt AI, đúng câu hỏi), Loại khỏi kỳ đo (sai bề mặt AI/ngôn ngữ và thị trường, lỗi tải, đo trùng), hoặc Chưa xác định (không đủ căn cứ). Không chuyển Chưa xác định thành “không có” chỉ vì không thấy thương hiệu của bạn.
5. Với câu hỏi Phân tích được, tách các lớp: được trích dẫn làm nguồn (citation), được nhắc tên (brand mention), đề xuất sản phẩm (product recommendation), đề xuất mua hàng (merchant recommendation). Mỗi lớp có mẫu số riêng (xem phần Cách đo lại).
6. Nếu tỷ lệ Chưa xác định cao hoặc tập trung ở một bề mặt AI/câu hỏi, ghi lại và chạy lại hoặc sửa quy trình đo trước khi đề xuất sửa nội dung.
7. Chuyển các câu hỏi Phân tích được có lượt được trích dẫn nhưng chưa được đề xuất sang PB-R02; các câu hỏi khác theo bảng điều hướng (routing) của ứng dụng.
8. Lưu bảng ghi (T02) cùng ngày để PB-M03 so sánh được với lần đo sau.

Ví dụ (ví dụ giả lập, không phải dữ liệu thật)

Kỳ đo giả lập: 20 câu hỏi được lên lịch, 18 câu hỏi đã đo, 14 Phân tích được, 4 Chưa xác định (2 không đọc được câu trả lời, 2 không tách được nguồn), 0 Loại khỏi kỳ đo. Trong 14 câu hỏi Phân tích được, 9 có câu trả lời đề xuất mua hàng; merchant_reco (thương hiệu của bạn được đề xuất mua hàng) là yes ở 3.

Cách báo: “3/14 câu hỏi Phân tích được có thương hiệu được đề xuất (21%); 3/9 câu trả lời có đề xuất mua hàng; 4/18 câu hỏi đã đo là Chưa xác định (22%)”. Không báo “3/20” hay “thương hiệu có 33% thị phần”.

Kết quả cần lưu

• Mỗi câu hỏi Chưa xác định có lý do và đường dẫn tới dữ liệu gốc.
• Mọi quyết định Phân tích được/Loại khỏi kỳ đo đều ghi bề mặt AI, ngôn ngữ và thị trường, ngày.
• Báo cáo ghi đủ: số câu hỏi được lên lịch, đã đo, Phân tích được, Chưa xác định, số câu trả lời có đề xuất mua hàng.
• Người thứ hai kiểm tra ngẫu nhiên ít nhất 3 quan sát (hoặc 20%, lấy số lớn hơn).

Cách đo lại

• Mẫu số: số câu hỏi được lên lịch, đã đo, Phân tích được, Chưa xác định, và số câu trả lời AI thực sự có đề xuất mua hàng. Tỷ lệ được trích dẫn làm nguồn, được nhắc tên, đề xuất sản phẩm và đề xuất mua hàng mỗi loại có mẫu số riêng.
• Báo tỷ lệ trên câu hỏi Phân tích được, kèm tỷ lệ có điều kiện trên câu trả lời có đề xuất mua hàng; hai con số này khác nhau.
• Lặp lại với cùng bộ câu hỏi theo dõi ở các kỳ sau (PB-M03). Không so sánh kỳ có số câu hỏi Phân tích được khác nhau nhiều mà không nêu rõ.

Giới hạn và khôi phục

• Chưa xác định không phải “không có”: giữ nguyên Chưa xác định nếu không đủ căn cứ.
• Báo cáo có sẵn của nền tảng và ứng dụng trả lời các câu hỏi khác nhau; dùng cái nào phải theo câu hỏi cần trả lời.
• Một lần đo là một quan sát; biến động giữa các lần là bình thường.
• AI Commerce Tracker hiện chỉ phân tích nội dung trả lời Google AI Mode. Dữ liệu đo được lưu trên máy của bạn và không tự tải lên thư viện; khi đo, câu hỏi vẫn được gửi tới Google.
• Khôi phục: hướng dẫn này không sửa website; bản gốc không bị ghi đè (bước 3) nên luôn quay lại được dữ liệu ban đầu.

Mẫu liên quan

T02 (Bảng ghi baseline và đối chiếu bằng chứng). Xem related trong frontmatter.