Đánh giá AI agent: Từ kiểm thử offline đến runtime grader

Đánh giá AI agent giờ đây là bài toán kiểm soát production. Đội kỹ thuật phải xác minh toàn bộ quỹ đạo thực thi của tác vụ, gồm lập kế hoạch, dùng công cụ, thử lại, giao việc và kết quả cuối cùng, ngay khi agent vẫn đang chạy. Một mô hình có thể cải thiện điểm trên benchmark chung nhưng vẫn khiến workflow đã triển khai bị lặp vô hạn, dùng sai công cụ hoặc báo thành công khi mới làm xong một phần việc.

Van Data Team bắt đầu bằng việc lập bản đồ kết quả nghiệp vụ, các trạng thái có thể bị thay đổi, quyền dùng công cụ, cơ chế khôi phục và cổng review của con người. Đầu ra là một kế hoạch đánh giá gắn với workflow: bộ test xây từ sự cố thật, rubric cho kết quả, đặc tả trace, chính sách chuyển cấp và cổng kiểm soát khi phát hành mô hình mới cho workflow AI agent trên production.

Anthropic đang giải quyết bài toán vận hành này qua cả hoạt động đào tạo lẫn các tính năng runtime. Preston Tuggle và Jimmy Chan tổ chức một buổi chia sẻ cho developer ngày 14-07-2026, từ 10:00 đến 11:00 sáng giờ PT; còn bản cập nhật Claude Managed Agents mô tả Outcomes, điều phối đa agent, memory và các tính năng runtime khác. Webinar dạy phương pháp thực hành, không phải ra mắt một sản phẩm tên “Agent Evaluation Framework”; Managed Agents mới là câu chuyện về runtime đang ở giai đoạn public beta.

Điểm chính

• Đánh giá LLM theo từng lượt hỏi đáp không xác minh được hành vi dùng công cụ, thay đổi trạng thái, việc giao việc, các lần thử lại hay quyết định dừng.
• Webinar của Anthropic mang tính đào tạo, còn Outcomes đưa một rubric grader độc lập vào ngay trong Claude Managed Agents.
• Chấm điểm lúc runtime có thể yêu cầu agent sửa đúng chỗ, nhưng mỗi lần gọi grader đều tốn thêm token, tăng độ trễ và thêm một nguồn lỗi mới.
• Mô hình mới chỉ thực sự là nâng cấp khi nó cải thiện kết quả riêng của sản phẩm mà không làm giảm chất lượng về an toàn, chi phí, cách dùng công cụ hay khối lượng review.

Đánh giá AI agent trên production nghĩa là gì

Đánh giá agent đo xem agent có hoàn thành đúng một tác vụ thật hay không, theo một quỹ đạo chấp nhận được, với đúng các công cụ, phân quyền, trạng thái và quy tắc khôi phục mà nó sẽ gặp trên production. Bộ kiểm thử offline và runtime grader bổ sung cho nhau:

Theo hướng dẫn kỹ thuật của Anthropic về eval cho agent, đánh giá agent cần chú ý tới hành vi động qua nhiều bước, không chỉ phản hồi tĩnh của mô hình. Hãy phát hiện các kiểu lỗi: agent lặp lại mà không tiến triển, dùng sai công cụ, lệch dần khỏi mục tiêu qua nhiều bước, âm thầm chỉ hoàn thành một phần, dừng quá sớm và lỗi phối hợp giữa các agent. Nếu thành công phụ thuộc vào công cụ, trạng thái, các lần thử lại, việc giao việc hay quyết định dừng, thì một benchmark kiểu prompt và phản hồi là không đủ.

Webinar và runtime của Anthropic cùng hướng về đâu

Outcomes thay đổi vòng thực thi: đội viết rubric mô tả thế nào là thành công, agent làm việc hướng tới kết quả đó và một grader riêng chấm kết quả trong một context khác. Cookbook về outcome grader cho thấy các tiêu chí không đạt có thể tạo ra phản hồi cụ thể rồi đưa việc quay lại để sửa. Việc tách context giúp giảm ảnh hưởng trực tiếp, nhưng không biến grader thành thứ không bao giờ sai; nó cần một gói bằng chứng đầy đủ và tốn thêm context, token, thời gian cùng công sức kỹ thuật.

Mẫu runtime là task -> agent và tools -> artifacts -> grader độc lập -> pass, revision hoặc human escalation.

Với quy trình agentic BI và báo cáo, một hợp đồng kết quả ngắn gọn có thể bắt đầu như sau:

git status --short
python -m pytest -q
git diff --check
# chỉ phát hành sau khi reviewer xác nhận thay đổi đúng phạm vi

Các kiểm tra mang tính xác định (deterministic) có thể xác minh các file bắt buộc và các tổng số đã được đối soát. Rubric grader thì đánh giá xem phần diễn giải có được bằng chứng đã duyệt hỗ trợ hay không.

Xây dựng dataset đánh giá từ sự cố production

Dataset giá trị nhất bắt đầu từ lỗi thật và những lần chạy thành công nhưng khó khăn: lưu lại mục tiêu, trạng thái môi trường, công cụ, phân quyền, dependency, điều kiện dừng, kết quả kỳ vọng và rubric. Hãy ẩn secret và dữ liệu khách hàng không cần thiết, gắn nhãn kiểu lỗi, tác động nghiệp vụ và yêu cầu chuyển cấp, chạy lại các trường hợp này với prompt, mô hình và cấu hình ứng viên, rồi version dataset, rubric, định nghĩa công cụ và bằng chứng cùng nhau. Hãy đưa cả các trường hợp thành công khó vào để hệ thống không trở nên quá thận trọng.

Kiểm soát việc áp dụng mô hình mới theo sản phẩm, không theo leaderboard

Khi so sánh, hãy giữ cố định các tác vụ lấy từ sự cố, công cụ, phân quyền, prompt, trạng thái và rubric. Chỉ áp dụng mô hình mới khi chất lượng kết quả, hành vi dùng công cụ, quỹ đạo thực thi, gánh nặng review, chi phí vận hành và độ ổn định đều cải thiện đủ rõ.

Gắn instrumentation cho runtime grading để truy vết và khôi phục

Hãy nối mỗi kết luận của grader với trace, bằng chứng, kết quả nghiệp vụ và hành động khôi phục. Ghi lại trace/session ID, vai trò của agent, quan hệ cha con, phiên bản mô hình/prompt/rubric/công cụ/chính sách, các lệnh gọi công cụ và tác dụng phụ, thứ tự giao việc, artifact, lý do thử lại và lý do dừng, kết luận theo từng tiêu chí, các lần con người ghi đè, các lần chuyển cấp, token, độ trễ và chi phí. Với hệ đa agent, cần lưu nguồn gốc của artifact và cách lead agent xử lý mâu thuẫn. Cẩm nang vận hành agent đưa ra mô hình vận hành rộng hơn cho trace, hàng đợi review và phân định trách nhiệm.

Kiểm soát grader chặt chẽ như kiểm soát agent

Dùng các kiểm tra xác định cho phân quyền, schema, artifact bắt buộc, phép tính và chuyển đổi trạng thái. Dùng mô hình để chấm những gì quy tắc khó diễn đạt: chất lượng ngữ nghĩa, mức độ khớp với bằng chứng và độ đầy đủ. Version rubric, giới hạn số lần sửa bằng một chính sách dừng rõ ràng, audit ngẫu nhiên các mẫu được chấm đạt, theo dõi các trường hợp grader bất đồng và con người ghi đè. Các kết quả mơ hồ, không thể đảo ngược hoặc có tác động lớn phải được chuyển cho con người. Xem thêm thiết kế AI agent có vòng review của con người để đặt cổng kiểm duyệt mà không biến mọi việc thành duyệt tay.

Checklist triển khai production

• Xác định kết quả nghiệp vụ trước khi viết rubric.
• Thu thập sự cố thật và các trường hợp thành công khó.
• Lưu lại công cụ, phân quyền, trạng thái và điều kiện dừng.
• Tách các kiểm tra xác định khỏi phần chấm điểm ngữ nghĩa.
• Chỉ thêm runtime grading ở những chỗ việc sửa lại là an toàn và có giá trị.
• Xác định giới hạn thử lại, hành vi dừng và cơ chế chuyển cấp cho con người.
• Trace công việc của các agent chuyên trách và nguồn gốc artifact.
• So sánh các bản phát hành mô hình trên cùng một dataset của sản phẩm.
• Rà soát độ trễ, token, chi phí và gánh nặng cho người vận hành.

Mức độ phù hợp của công cụ và ngân sách vận hành

Outcomes phù hợp khi đội đã chạy Claude Managed Agents và cần một grader hoạt động trực tiếp để yêu cầu sửa lại hoặc chuyển kết quả đi review. Inspect AI, OpenAI Evals và promptfoo phù hợp hơn để so sánh trước khi phát hành; LangSmith, Braintrust và Arize Phoenix hỗ trợ observability xuyên suốt nhiều lần chạy; LangGraph và Temporal xử lý trạng thái, thử lại và checkpoint chứ không chấm kết quả. Một stack mạnh sẽ kết hợp regression offline, trace, kiểm tra xác định và chấm điểm theo rubric.

Hãy đánh giá toàn bộ chi phí, không chỉ giá token: kết quả theo rubric trên từng kiểu lỗi, độ trễ end-to-end, token của agent và grader, số lần thử lại, số phút reviewer bỏ ra và chi phí khôi phục. Chỉ số cần theo dõi là chi phí trên mỗi kết quả workflow được phê duyệt, trong đó tử số tính cả những lần chạy lỗi và bị bỏ dở.

Kết luận: biến đánh giá thành một phần của runtime

Đánh giá agent không thể dừng lại ở một báo cáo kiểm thử trước khi ra mắt. Agent trên production cần bộ regression offline cho các lỗi đã biết và runtime grading cho những kết quả phải được xác minh trước khi workflow chạy tiếp. Hãy thu thập sự cố thật, định nghĩa thành công theo cách quan sát được, lưu lại quỹ đạo thực thi, chấm điểm dựa trên bằng chứng độc lập, giới hạn số lần sửa và chuyển cấp các rủi ro chưa giải quyết. Con người vẫn là người chịu trách nhiệm cho các quyết định mơ hồ và có tác động lớn.