Đo lại sau thay đổi trên cùng bộ câu hỏi

Vấn đề và mục tiêu

Sau khi sửa trang hoặc dữ liệu, team muốn biết có gì thay đổi. Rủi ro: đổi bộ câu hỏi, đổi điều kiện đo, chỉ chạy một lần, bỏ qua câu hỏi Chưa xác định, rồi kết luận “đã hiệu quả”. Mục tiêu: đo lại trên cùng bộ câu hỏi, cùng điều kiện, và báo thay đổi quan sát được kèm giới hạn, không báo nguyên nhân.

Quan sát làm căn cứ

• Đã có baseline (kỳ đo đầu tiên làm mốc so sánh, PB-M02) và ít nhất một thay đổi được ghi trong kế hoạch hành động (T07) với ngày hoàn thành và bằng chứng triển khai.

Chưa thể kết luận từ hướng dẫn này: thay đổi của bạn gây ra kết quả; kết quả sẽ lặp lại; kết quả áp dụng cho bề mặt AI hoặc nhóm sản phẩm khác. Không có tài liệu nền tảng nào chúng tôi đọc nêu thời gian từ khi sửa đến khi AI phản ánh nên thư viện hướng dẫn không đặt “bao lâu thì đo lại”; ghi rõ khoảng thời gian bạn chọn.

Điều cần kiểm tra

1. Baseline: bộ câu hỏi đã khoá, điều kiện đo, bảng ghi T02.
2. Kế hoạch hành động (T07): thay đổi gì, URL nào, ngày hoàn thành, ai xác nhận, thay đổi nào khác diễn ra cùng thời gian (catalog, chiến dịch, mùa vụ).
3. Điều kiện nền tảng: bề mặt AI, ngôn ngữ và thị trường, thiết bị. AI Overviews và AI Mode có thể dùng kỹ thuật khác nhau nên link khác nhau (CLM-google-ai-features-003); không đo lại trên bề mặt khác rồi so với baseline.
4. Báo cáo có sẵn của nền tảng làm đối chiếu: báo cáo Generative AI performance có thể không hiển thị khi quá ít impressions (CLM-google-report-002); giá trị không sẵn có thành 0 khi export, ngày theo giờ Pacific (CLM-google-report-003). Citation Share của Bing là chỉ số quan sát về citations của một grounding query (truy vấn mà Bing dùng làm đơn vị tính citations), không phải thứ hạng (CLM-bing-ai-performance-002). Không ghép các số này với tỷ lệ từ bộ câu hỏi theo dõi thành một điểm (thực hành đề xuất của team).

Điều kiện cần

• Baseline có dữ liệu Phân tích được (PB-M02) và kế hoạch hành động có ít nhất một thay đổi đã nghiệm thu triển khai.
• Người phụ trách: người phân tích. Công sức ước tính (thực hành đề xuất của team): bằng một kỳ baseline, cộng 1-2 giờ so sánh và viết báo cáo.

Các bước

1. Xác nhận thay đổi đã hoàn thành trong T07 (ngày, URL, người nghiệm thu). Chưa nghiệm thu thì chưa đo lại.
2. Chọn thời điểm đo lại và ghi lý do. Nếu muốn nhiều điểm đo (khuyến nghị để thấy biến động), ghi trước lịch đo, ví dụ vài điểm cách nhau theo ngày/tuần (thực hành đề xuất của team).
3. Giữ nguyên bộ câu hỏi đã khoá, bề mặt AI, ngôn ngữ và thị trường, thiết bị, số lần chạy mỗi câu hỏi. Nếu buộc phải đổi điều kiện (ví dụ nền tảng đổi giao diện), ghi vào nhật ký thay đổi và coi đây là kỳ không so sánh trực tiếp.
4. Chạy đo và lưu dữ liệu gốc (ảnh chụp, HTML) như baseline.
5. Xác minh theo PB-M01; câu hỏi Chưa xác định giữ nguyên Chưa xác định.
6. Lập bảng so sánh trong T02/T08: cho mỗi câu hỏi, trạng thái ở baseline và ở kỳ này, và các lớp được trích dẫn / được nhắc tên / đề xuất sản phẩm / đề xuất mua hàng. Ưu tiên so các câu hỏi Phân tích được ở cả hai kỳ (“cặp khớp”); tách riêng câu hỏi Phân tích được ở một kỳ.
7. Ghi mẫu số hai kỳ: số câu hỏi được lên lịch, đã đo, Phân tích được, Chưa xác định, số câu trả lời có đề xuất mua hàng; cho từng lớp.
8. Ghi thay đổi đồng thời và điều kiện khác biệt (T07 và nhật ký thay đổi của bảng ghi).
9. Viết kết luận được phép (xem phần Ví dụ): mô tả thay đổi quan sát, mẫu số, biến động đã thấy, và những gì không thể kết luận. Không dùng từ “nhờ”, “tăng do”.
10. Quyết định bước tiếp: giữ, đo thêm, sửa tiếp, hoặc dừng. “Kết quả không đổi” và “kết quả xấu đi” cũng là kết quả hợp lệ và phải được ghi.

Ví dụ (ví dụ giả lập, không phải dữ liệu thật)

Baseline: 24 câu hỏi, Phân tích được 18, merchant_reco (thương hiệu của bạn được đề xuất mua hàng) là yes ở 3/18, 3/12 câu trả lời có đề xuất mua hàng. Sau khi sửa trang danh mục (T07 ghi ngày hoàn thành): 24 câu hỏi được lên lịch, 24 đã đo, 20 Phân tích được, 4 Chưa xác định; merchant_reco 5/20; 5/14 câu trả lời có đề xuất mua hàng. Trong 16 câu hỏi Phân tích được ở cả hai kỳ: kỳ 0 có 3, kỳ này có 4.

Kết luận được phép: “Trên 16 câu hỏi Phân tích được ở cả hai kỳ, merchant_reco là yes ở 3 rồi 4. Mẫu nhỏ, chưa thấy mức biến động giữa các lần chạy, đồng thời đang có đợt khuyến mãi; chưa thể quy cho việc sửa trang.” Không được phép: “Sửa trang làm tăng 33% hiển thị AI.”

Kết quả cần lưu

• Bộ câu hỏi, bề mặt AI, ngôn ngữ và thị trường và số lần chạy giống baseline, hoặc khác biệt được ghi.
• Mọi quan sát có dữ liệu gốc; câu hỏi Chưa xác định có lý do.
• Bảng so sánh có hai mẫu số (cả hai kỳ) và nêu rõ phần cặp khớp.
• Thay đổi đồng thời được liệt kê.
• Kết luận không dùng từ nhân quả; có mục “chưa thể kết luận”.
• Người thứ hai xem lại bảng so sánh.

Cách đo lại

Chính hướng dẫn này là bước đo lại. Lặp lại theo lịch đã khai báo; mỗi kỳ giữ cùng bộ câu hỏi. Mẫu số: số câu hỏi được lên lịch, đã đo, Phân tích được, Chưa xác định, số câu trả lời có đề xuất mua hàng. Khi đủ nhiều kỳ, báo dải giá trị thay vì một điểm.

Giới hạn và khôi phục

• Trước/sau chỉ là tương quan quan sát, không phải quan hệ nhân quả; muốn kết luận nhân quả cần thiết kế thí nghiệm phù hợp (ngoài phạm vi hướng dẫn này).
• Biến động giữa các lần chạy là bình thường (F08); thư viện hướng dẫn không đặt ngưỡng “có ý nghĩa”.
• Một nhóm sản phẩm, một bề mặt AI, một ngôn ngữ và thị trường.
• Nền tảng có thể đổi hành vi giữa hai kỳ; ghi lại nếu nhận thấy.
• AI Commerce Tracker hiện chỉ phân tích nội dung trả lời Google AI Mode. Dữ liệu đo được lưu trên máy của bạn và không tự tải lên thư viện; khi đo, câu hỏi vẫn được gửi tới Google.
• Khôi phục: hướng dẫn này chỉ đo lại, không sửa website; nếu thay đổi đã làm sai so với dữ liệu kinh doanh thì khôi phục theo bản trước khi sửa đã lưu ở PB-O01.

Mẫu liên quan

T02 (Bảng ghi baseline và đối chiếu bằng chứng), T07 (Kế hoạch hành động và nhật ký thay đổi), T08 (Báo cáo đo lại trên cùng bộ câu hỏi: mẫu số hai kỳ, cặp khớp, thay đổi đồng thời, kết luận ở mức quan sát). Việc cần làm trước khi đo lại: PB-O01.