ИИ за компьютером — модель, которая смотрит на экран, двигает мышью и печатает, как человек за ПК. Ей не нужен API программы: она работает в любом окне — от браузера до старой учётной системы. Короткие задачи в офисных программах агент уже делает надёжно, длинные цепочки из сотен шагов — пока нет.
Как это работает
Цикл простой: программа-обвязка делает снимок экрана и отправляет модели вместе с задачей. Модель находит на картинке нужное поле, кнопку или пункт меню и отвечает действием: «клик в точку с такими координатами», «напечатай текст», «нажми Enter». Обвязка выполняет действие, делает новый снимок, и модель смотрит, что изменилось. Если программа отдаёт описание интерфейса текстом, его подают вместе с картинкой, и промахов меньше.
Главное отличие от старых роботов-скриптов RPA — гибкость. Скрипт помнит, что кнопка «Сохранить» стоит в определённой точке, и ломается, когда обновление её сдвигает. Модель каждый раз читает экран заново, как человек: кнопка переехала — модель её находит. Поэтому агента можно поставить на программы без интеграций: старые учётные системы, сайты поставщиков, внутренние порталы.
Слабое место — длина. На каждом шаге есть маленький шанс ошибиться: промахнуться мимо поля, не дождаться загрузки, неверно понять окно. На десяти шагах это почти незаметно, на сотнях ошибки складываются: в тесте OSWorld 2.0 на задачах длиннее 300 шагов лучший агент справляется с 20,6%. Поэтому длинный процесс режут на короткие куски с проверкой после каждого.
Где уже работает
- Перенос данных между программами без интеграции: из писем и PDF — в учётную систему.
- Заполнение однотипных форм на сайтах поставщиков и во внутренних порталах.
- Тестирование интерфейсов: агент проходит сценарии, как пользователь, и отмечает ошибки.
- Короткие рутинные задачи в офисных программах: таблицы, документы, почта.
Что учесть
- Длинные цепочки пока ненадёжны: дели процесс на короткие шаги и проверяй результат.
- Запускай агента в отдельной учётной записи или виртуальной машине, с минимумом прав.
- Оплаты, отправка писем и удаление — только с подтверждением человека.
- В России — сложно: западные облачные модели недоступны, нужен вариант на своём сервере.