Cẩm nang vận hành AI Agent và chuyển cấp cho con người

Đội ngũ thường nói muốn một AI agent trong môi trường vận hành, trong khi điều họ thực sự cần là con đường thực thi an toàn hơn quanh một quy trình lộn xộn.

Sự phân biệt này quan trọng. Mô hình có thể tạo câu trả lời tốt nhưng vẫn thất bại như hệ thống vận hành nếu chuyển cấp, quyền công cụ và ngữ cảnh cho người kiểm duyệt không được thiết kế rõ ràng.

Bắt đầu bằng ranh giới quy trình

Trước prompt, điều phối hay chọn mô hình, hãy xác định ranh giới quy trình.

Điều đó nghĩa là làm rõ:

• agent được phép tự quyết điều gì
• nó được gọi những công cụ nào
• chất lượng đầu vào dự kiến là gì
• quy trình phải dừng lại cho con người ở đâu

Đó là lý do công việc Phát triển AI Agent thường bắt đầu bằng sơ đồ quy trình thay vì workshop về prompt.

Xác định hợp đồng chuyển cấp trước lần triển khai đầu tiên

Nhiều đội ngũ thêm kiểm duyệt sau đầu ra đáng sợ đầu tiên. Cách đó ngược thứ tự.

Hợp đồng chuyển cấp phải rõ ràng trước khi quy trình chạm môi trường vận hành:

• thế nào được xem là độ tin cậy thấp
• hành động nào có thể hoàn tác và không thể hoàn tác
• hành động nào liên quan khách hàng hoặc doanh thu luôn cần phê duyệt
• ai sở hữu hàng đợi khi agent không thể tiếp tục

Không có hợp đồng này, người kiểm duyệt thành nút hoảng loạn thay vì một vai trò vận hành bền vững.

Ba mô hình chuyển cấp hiệu quả trong thực tế

Các đợt đưa agent vào vận hành tốt nhất thường dựa trên một trong ba mô hình:

1. Phê duyệt trước hành động cho bước rủi ro cao hoặc hiển thị ra bên ngoài.
2. Chuyển cấp khi có ngoại lệ, khi quy trình xử lý tốt phần lớn trường hợp phổ biến.
3. Kiểm duyệt theo mẫu khi hệ thống có khối lượng lớn và sự trôi lệch chất lượng quan trọng hơn lỗi đơn lẻ.

Tổ hợp phù hợp phụ thuộc rủi ro kinh doanh, không phụ thuộc mức độ ấn tượng của demo tự động hóa.

Cho người kiểm duyệt ngữ cảnh cần để hành động nhanh

Người kiểm duyệt không nên chỉ thấy câu trả lời cuối cùng.

Họ thường cần:

• ngữ cảnh nguồn agent đã dùng
• lệnh gọi công cụ hoặc hành động hệ thống nó đã thử
• quy tắc hoặc chính sách nó tuân theo
• lý do nó chuyển cấp
• các hành động tiếp theo có thể chọn

Khi thiếu ngữ cảnh đó, mọi người mất thời gian làm lại suy luận của agent thay vì đưa ra quyết định chỉ con người mới có thể làm.

Một bề mặt kiểm duyệt hữu ích trông như thế nào

Bề mặt hữu ích phải hẹp và hướng đến quyết định. Nó hiển thị tối thiểu ngữ cảnh để phê duyệt, từ chối, chỉnh sửa hoặc chuyển cấp tiếp. Nếu màn hình trở thành việc dựng lại toàn bộ quy trình, vòng kiểm duyệt lại thành nút thắt riêng.

Đo quy trình, không chỉ mô hình

Agent vận hành nên được đánh giá bằng hiệu suất quy trình, không chỉ chất lượng prompt.

Các chỉ số thường quan trọng gồm:

• tỷ lệ chuyển cấp theo loại tác vụ
• thời gian giải quyết sau chuyển cấp
• tỷ lệ khôi phục sau lỗi
• mẫu phê duyệt so với từ chối
• chi phí cho mỗi quy trình hoàn tất

Những con số này cho biết hệ thống đang giảm lực cản vận hành hay chỉ chuyển nó sang chỗ khác.

Triển khai theo giai đoạn

Lần đưa vào vận hành an toàn nhất hiếm khi là bàn giao toàn bộ ngay ngày đầu. Một lộ trình tốt hơn như sau:

Giai đoạn 1: Trợ lý nội bộ

Dùng agent để soạn, tóm tắt hoặc chuẩn bị quyết định trong khi con người vẫn sở hữu hành động cuối cùng.

Giai đoạn 2: Làn tự động hóa hẹp

Cho agent hoàn tất một nhóm nhỏ hành động ít rủi ro, có nhật ký và đường hoàn tác rõ ràng.

Giai đoạn 3: Thực thi rộng hơn với định tuyến ngoại lệ

Khi quy trình có thể quan sát và hợp đồng chuyển cấp đã được chứng minh, mở rộng phạm vi thực thi tự chủ và chuyển ngoại lệ đến người có đúng ngữ cảnh.

Kết nối agent với phần còn lại của hệ thống

Agent không tạo giá trị khi đứng một mình. Chúng tạo giá trị khi đọc được nguồn phù hợp và ghi lại vào hệ thống đội ngũ đang dùng.

Vì vậy triển khai tốt thường ghép lớp agent với:

• API và công cụ nội bộ
• chính sách được ghi chép
• ngữ cảnh kho dữ liệu hoặc báo cáo
• quyền sở hữu hàng đợi
• thông báo hạ nguồn qua Slack, email hoặc công cụ vận hành

Thiếu các kết nối này, agent chỉ là sidecar ấn tượng thay vì phần hoạt động của doanh nghiệp.

Kết luận thực tế

Khác biệt giữa demo agent ấn tượng và quy trình vận hành hiếm khi chỉ là mô hình. Đó là hệ điều hành quanh chuyển cấp, kiểm duyệt, công cụ và khả năng quan sát thời gian chạy. Muốn agent hành xử như đồng đội thực sự, hãy thiết kế mô hình chuyển cấp cho con người kỹ như vòng suy luận.