AI sử dụng máy tính là mô hình nhìn màn hình, di chuột và gõ phím như người ngồi trước máy tính. Nó không cần API của phần mềm: nó làm việc trong bất kỳ cửa sổ nào — từ trình duyệt đến hệ thống kế toán cũ. Nhiệm vụ ngắn trong phần mềm văn phòng agent đã làm ổn định, còn chuỗi dài hàng trăm bước thì chưa.
Cách hoạt động
Vòng lặp rất đơn giản: chương trình điều phối chụp màn hình và gửi cho mô hình cùng với nhiệm vụ. Mô hình tìm trên ảnh ô nhập, nút bấm hay mục menu cần thiết và trả lời bằng một hành động: “nhấp vào điểm có tọa độ này”, “gõ đoạn văn bản”, “nhấn Enter”. Chương trình điều phối thực hiện hành động, chụp màn hình mới, và mô hình xem điều gì đã thay đổi. Nếu phần mềm cung cấp mô tả giao diện dạng văn bản, mô tả đó được gửi kèm hình ảnh, và số lần bấm trượt ít hơn.
Khác biệt chính so với các robot kịch bản RPA kiểu cũ là sự linh hoạt. Kịch bản nhớ rằng nút “Lưu” nằm ở một điểm nhất định và hỏng khi bản cập nhật dời nó đi. Mô hình mỗi lần lại đọc màn hình từ đầu, như con người: nút dời chỗ — mô hình vẫn tìm ra. Vì vậy có thể giao cho agent những phần mềm không có tích hợp: hệ thống kế toán cũ, trang web của nhà cung cấp, cổng thông tin nội bộ.
Điểm yếu là độ dài. Ở mỗi bước đều có một khả năng nhỏ mắc lỗi: nhấp trượt ô nhập, không chờ trang tải xong, hiểu sai cửa sổ. Với mười bước thì gần như không thấy, với hàng trăm bước thì lỗi cộng dồn: trong bài kiểm tra OSWorld 2.0, với nhiệm vụ dài hơn 300 bước, agent tốt nhất hoàn thành 20,6%. Vì vậy quy trình dài được cắt thành từng đoạn ngắn, có kiểm tra sau mỗi đoạn.
Đã được ứng dụng ở đâu
- Chuyển dữ liệu giữa các phần mềm không có tích hợp: từ email và PDF vào hệ thống kế toán.
- Điền các biểu mẫu giống nhau trên trang web của nhà cung cấp và cổng thông tin nội bộ.
- Kiểm thử giao diện: agent đi qua các kịch bản như người dùng và ghi lại lỗi.
- Việc lặp lại ngắn trong phần mềm văn phòng: bảng tính, tài liệu, email.
Cần lưu ý
- Chuỗi dài hiện chưa ổn định: chia quy trình thành các bước ngắn và kiểm tra kết quả.
- Chạy agent trong tài khoản riêng hoặc máy ảo, với quyền tối thiểu.
- Thanh toán, gửi email và xóa — chỉ khi có xác nhận của con người.
- Ở Nga — có điều kiện: không dùng được các mô hình đám mây phương Tây, cần phương án chạy trên máy chủ riêng.