Vercel дала агентам управление приложениями через дерево доступности ОС
Agent-desktop считывает кнопки, поля и другие элементы из дерева доступности вместо распознавания скриншотов.
Каждый снимок интерфейса возвращает JSON со стабильной ссылкой на элемент, по которой агент выполняет действие и проверяет результат.
Инструмент работает в фоне без перехвата мыши и поддерживает нескольких агентов с отдельными курсорами.
CLI и библиотека на C предназначены для macOS, Windows и Linux; исходный код открыт.
Почему важно
Агенты могут надежнее управлять обычными приложениями, не угадывая элементы по пикселям и не отнимая рабочий стол у человека.