Cẩm nang vận hành AI agent và chuyển cấp xử lý cho con người

Một AI agent chạy trên production cần thiết kế chuyển cấp xử lý cho con người kỹ lưỡng không kém vòng suy luận của nó: một ranh giới cho những gì agent được tự làm, một ngưỡng tin cậy giữ lại kết quả yếu, một hàng chờ kiểm duyệt cho người duyệt đủ ngữ cảnh để quyết nhanh, và các chỉ số cho thấy cả quy trình có tốt lên hay không. Phần lớn các lần triển khai thất bại đều bỏ qua một trong bốn phần này, thường vì bản demo vẫn chạy được khi thiếu nó.

Cẩm nang này đi qua cách thiết kế từng phần, kèm ví dụ từ các hệ thống agent chúng tôi đã xây và vận hành. Về việc cần làm khi có sự cố trên production, xem bài đi kèm: playbook ứng phó sự cố cho AI agent.

Vẽ ranh giới trước khi viết prompt

Trước prompt, điều phối hay chọn mô hình, hãy viết ra ranh giới của quy trình:

• agent được tự quyết những gì
• agent được gọi những công cụ nào, với quyền gì
• dữ liệu đầu vào có chất lượng ra sao, và agent làm gì khi gặp đầu vào xấu
• quy trình phải dừng lại chờ con người ở đâu

Ranh giới hẹp cũng là cách rẻ nhất để giảm số lần phải chuyển cho người. Với SeaSure, nền tảng bảo dưỡng tàu thuyền, chúng tôi xây một agent LangGraph chuyên biệt cho từng hệ thống con của con tàu thay vì một agent xử lý sự cố cho cả con tàu, vì một agent tổng quát kém đi khi phạm vi của nó rộng ra. alice/ai áp dụng cùng ý tưởng ở quy mô lớn hơn: một LangGraph Supervisor chuyển từng yêu cầu đến các sub-agent chuyên biệt, nên mỗi agent chỉ chọn trong một bộ công cụ ngắn và đúng việc, dù sản phẩm kết nối hơn 70 công cụ qua MCP. Mỗi agent ít lựa chọn hơn thì ít lời gọi công cụ sai hơn, và ít lời gọi sai thì ít phải chuyển cho người hơn.

Đặt ngưỡng tin cậy trong kiến trúc, không phải trong prompt

Dặn mô hình "hãy nói khi không chắc" không phải là một cổng kiểm soát. Cổng kiểm soát là một vị trí trong hệ thống nơi kết quả có độ tin cậy thấp bị giữ lại trước khi có ai nhìn thấy.

Với Zeno, nền tảng AI về luyện tập và dinh dưỡng, các chương trình tập do AI tạo ra bị giữ lại sau ngưỡng tin cậy 85% trước khi đến tay người dùng. Quyết định đó định hình cả kiến trúc: việc tạo nội dung phải tách khỏi việc gửi đi, để một kết quả có độ tin cậy thấp được giữ lại thay vì hiển thị kèm một lời cảnh báo. Việc định tuyến giữa Claude 3 Haiku, OpenAI và Gemini tồn tại để giữ ngưỡng đó đạt được với chi phí chấp nhận được cho mỗi lần tạo.

Nền tảng cố vấn Consequential Flowers giữ lại các câu trả lời dưới ngưỡng tin cậy 60%. Hai con số khác nhau có lý do: một kế hoạch tập luyện tác động lên cơ thể thật, còn một câu trả lời cố vấn là lời khuyên để người đọc cân nhắc. Ngưỡng là quyết định sản phẩm gắn với cái giá của một câu trả lời sai, không phải một giá trị kỹ thuật mặc định.

Điều xảy ra dưới ngưỡng cũng quan trọng như con số. Các lựa chọn thường gặp:

• Giữ lại và thử lại với mô hình khác hoặc thêm ngữ cảnh, rồi chuyển cho người nếu vẫn chưa đạt.
• Chuyển cho người kèm bản nháp, nguồn tham khảo và lý do chưa đạt.
• Trả về một phương án an toàn cho người dùng biết bước tiếp theo, thay vì một câu trả lời yếu.

Viết cam kết chuyển cấp xử lý trước lần triển khai đầu tiên

Phần lớn các đội chỉ thêm bước kiểm duyệt sau kết quả đáng lo đầu tiên. Làm vậy là ngược. Cam kết chuyển cấp xử lý phải có trước khi quy trình lên production, và trả lời được bốn câu hỏi:

• thế nào là độ tin cậy thấp, và đo bằng cách nào
• hành động nào hoàn tác được, hành động nào không
• hành động nào liên quan đến khách hàng, tiền hoặc dữ liệu luôn cần phê duyệt
• ai phụ trách hàng chờ khi agent không thể tiếp tục, và phản hồi trong bao lâu

Ba cách chuyển cấp xử lý bao quát phần lớn quy trình:

| Cách làm | Dùng khi | Ví dụ | | --- | --- | --- | | Phê duyệt trước khi hành động | Bước làm không hoàn tác được hoặc lộ ra bên ngoài công ty | Gửi email cho khách hàng, hoàn tiền | | Chuyển cấp khi có ngoại lệ | Agent xử lý tốt trường hợp phổ biến, phần còn lại hiếm gặp | Chuyển một yêu cầu hỗ trợ mà agent không phân loại được | | Kiểm duyệt theo mẫu | Khối lượng lớn và việc chất lượng trôi dần quan trọng hơn từng lỗi lẻ | Mỗi tuần duyệt một phần các bản tóm tắt do agent tạo |

Cách kết hợp đúng phụ thuộc vào rủi ro kinh doanh, không phải vào việc bản demo trông ấn tượng đến đâu.

Thực thi phân quyền ở tầng dữ liệu

Chỉ dẫn trong prompt không phải là ranh giới bảo mật. Với OBJX Intelligence, năm agent dùng chung bộ nhớ dài hạn giữa các phiên trong khi mỗi tenant vẫn được cô lập. Việc cô lập được thực thi ở tầng dữ liệu, qua mô hình phân quyền năm cấp, chứ không nằm trong chỉ dẫn cho agent, vì một chỉ dẫn không phải là ranh giới. Nguyên tắc này cũng áp dụng cho quyền dùng công cụ: nếu agent không bao giờ được hoàn tiền, nó không nên giữ thông tin xác thực có thể hoàn tiền, bất kể prompt viết gì.

Cho người duyệt đủ ngữ cảnh để hành động

Người duyệt không bao giờ nên phải suy luận lại từ đầu thay agent. Màn hình kiểm duyệt nên cho thấy:

• ngữ cảnh nguồn mà agent đã dùng
• các lời gọi công cụ hoặc hành động agent đã thử, và kết quả của chúng
• quy tắc hoặc chính sách agent đã tuân theo
• lý do chuyển cấp: điểm tin cậy, bước kiểm tra thất bại hoặc chính sách áp dụng
• các hành động tiếp theo: duyệt, sửa, từ chối hoặc trả lại

Khả năng truy vết làm được điều đó. alice/ai ghi vết các lần chạy agent trong LangSmith, nên người duyệt hoặc kỹ sư thấy được từng bước phía sau một câu trả lời. Yōjin, nền tảng tuân thủ, giữ các biện pháp kiểm soát và nghĩa vụ pháp lý thành quan hệ tường minh trong đồ thị Neo4j, nên mỗi khuyến nghị đều nêu được nghĩa vụ mà nó phục vụ. Người duyệt thấy được vì sao agent đi đến kết luận sẽ quyết trong vài giây; người không thấy phải bắt đầu lại từ đầu.

Đo quy trình, không chỉ đo mô hình

Hãy đánh giá agent trên production bằng những gì xảy ra với quy trình, không phải bằng việc prompt trông hay đến đâu:

• tỷ lệ chuyển cấp theo loại việc, và nó thay đổi thế nào sau mỗi lần phát hành
• thời gian từ lúc chuyển cấp đến lúc xử lý xong
• tỷ lệ duyệt, sửa và từ chối, cho thấy agent đang sai lặp lại ở đâu
• tỷ lệ phục hồi sau lỗi công cụ hoặc lỗi từ nhà cung cấp
• chi phí cho mỗi quy trình hoàn tất, không phải cho mỗi lần gọi mô hình

OBJX theo dõi một chỉ số sức khỏe nền tảng, đang ở mức 94,7% trên production. Dù đo bằng gì, đó nên là một con số chủ doanh nghiệp đọc mỗi tuần, có phần chi tiết phía sau cho kỹ sư.

Triển khai theo từng giai đoạn

Cách triển khai an toàn nhất hiếm khi là giao hết việc ngay ngày đầu.

1. Chế độ trợ lý. Agent soạn nháp, tóm tắt hoặc chuẩn bị quyết định; con người nắm mọi hành động. Đây là nơi cam kết chuyển cấp được thử nghiệm với chi phí thấp.
2. Một làn tự động hẹp. Agent tự hoàn tất một nhóm hành động ít rủi ro, hoàn tác được, có ghi log và cách quay lui rõ ràng.
3. Mở rộng phạm vi, chuyển ngoại lệ cho người. Khi quy trình đã quan sát được và cam kết chuyển cấp đã được chứng minh, mở rộng phần agent tự làm và chuyển ngoại lệ đến người có đủ ngữ cảnh.

Chuyển sang giai đoạn tiếp theo dựa trên bằng chứng từ các chỉ số ở trên, không dựa trên lịch.

Xác định ai phụ trách agent sau khi ra mắt

Một agent không ai phụ trách sẽ xuống cấp âm thầm: nhà cung cấp đổi mô hình, API ngừng hỗ trợ endpoint, và hàng chờ chuyển cấp đầy dần mà không ai để ý. Phải có người nắm phần vận hành, nghĩa là:

• cảnh báo trên mọi luồng, kể cả độ "cũ" của hàng chờ chuyển cấp
• một ghi chú sự cố cho mỗi lần lỗi, ghi lại nguyên nhân và cách sửa
• lịch nâng cấp trước hạn ngừng hỗ trợ của mô hình và API, những mốc mà trang benchmark AI model của chúng tôi theo dõi cho các mô hình được so sánh

Đó là phần việc dịch vụ vận hành và bảo trì hệ thống của chúng tôi đảm nhận cho các agent chúng tôi xây, và sẽ dễ lên kế hoạch hơn khi nó nằm trong thiết kế ngay từ đầu một dự án phát triển AI agent.

Điều rút ra

Khác biệt giữa một bản demo agent ấn tượng và một quy trình chạy thật hiếm khi chỉ nằm ở mô hình. Đó là cả hệ thống xung quanh: một ranh giới hẹp, ngưỡng tin cậy đặt trong kiến trúc, cam kết chuyển cấp viết trước khi ra mắt, phân quyền ở tầng dữ liệu, người duyệt có đủ ngữ cảnh và một đội nắm phần vận hành. Hãy thiết kế phần con người cẩn thận như vòng suy luận, và agent có thể được trao thêm quyền tự chủ qua từng giai đoạn.