Agent TARS и UI-TARS Desktop — открытый мультимодальный агентский стек от ByteDance

Репозиторий bytedance/UI-TARS-desktop — это открытый мультимодальный агентский стек от ByteDance. Проект набрал почти 40 тысяч звёзд на GitHub и распространяется под лицензией Apache 2.0. Внутри живут два продукта: Agent TARS — агент для терминала, браузера и компьютера, и UI-TARS Desktop — десктопное приложение с GUI-агентом на базе одноимённой модели. Оба инструмента решают одну задачу: они выполняют действия за человека там, где нет API — в интерфейсах, браузере и операционной системе.

Два проекта в одном стеке

Стек TARS состоит из двух частей, которые дополняют друг друга:

Agent TARS ближе к инженерному инструменту: его запускают из командной строки или через веб-интерфейс и встраивают в собственные продукты. UI-TARS Desktop — это готовое приложение: установил, дал инструкцию обычным языком, агент кликает и печатает сам.

Agent TARS: агент для терминала и браузера

Agent TARS позиционируется как универсальный мультимодальный агент. Ключевые возможности:

• CLI «из коробки» — два режима запуска: с видимым Web UI (headful) и в скрытом серверном режиме (headless) для автоматизации.
• Гибридный браузерный агент — агент управляет браузером двумя способами: через визуальное распознавание экрана (GUI Agent) или через DOM. Можно комбинировать стратегии.
• Event Stream — событийный протокол, на котором построены управление контекстом (Context Engineering) и интерфейс агента. Все шаги агента видны как поток событий, что упрощает отладку.
• MCP-интеграция — ядро агента построено на MCP, к нему подключаются внешние MCP-серверы с реальными инструментами.

В версии CLI 0.3.0 добавили потоковый вывод для команд оболочки и файлов, тайминги вызовов инструментов и «размышлений», просмотрщик потока событий и поддержку изолированной среды выполнения agent-infra/sandbox.

Типичный сценарий из демонстраций: «Забронируй самый ранний рейс из Сан-Хосе в Нью-Йорк 1 сентября и последний обратный 6 сентября на Priceline». Агент сам открывает сайт, ищет рейсы и проходит шаги бронирования. Другие примеры — бронирование отеля с гидом по транспорту и построение графика погоды с помощью MCP-серверов — собраны в issue #842.

UI-TARS Desktop: агент для рабочего стола

UI-TARS Desktop — нативное приложение с GUI-агентом внутри. Оно управляет компьютером так же, как человек: делает скриншоты, распознаёт элементы на экране и выполняет действия мышью и клавиатурой. Возможности:

• Управление на естественном языке через vision-language модель.
• Скриншоты и визуальное распознавание интерфейсов.
• Точное управление мышью и клавиатурой.
• Кроссплатформенность: Windows, macOS и браузер.
• Обратная связь и статус агента в реальном времени.
• Приватность: локальная обработка данных.

Раньше в приложении был бесплатный Remote Operator — облачный сервис удалённого управления компьютером и браузером без настройки. 20 августа 2025 года его отключили. Теперь удалённого агента нужно разворачивать самостоятельно, например через сервисы Volcano Engine.

Локальный оператор требует подключения модели. Приложение настраивается на любой endpoint, совместимый с OpenAI API: указываете Base URL, ключ и имя модели. Проще всего развернуть UI-TARS-1.5-7B на Hugging Face Endpoints или взять хостинговую модель Doubao-1.5-UI-TARS на VolcEngine. Полная инструкция — в quick-start.

Пример задачи из демо: «Включи автосохранение в настройках VS Code и поставь задержку Auto Save 500 миллисекунд». Агент сам открывает настройки, находит нужный пункт и меняет значение.

Как попробовать

Agent TARS запускается одной командой через npx (нужен Node.js не ниже 22):

# Launch with S0.
npx @agent-tars/cli@latest

# Install globally, required Node.js >= 22
npm install @agent-tars/cli@latest -g

# Run with your preferred model provider
agent-tars --provider volcengine --model doubao-1-5-thinking-vision-pro-250428 --apiKey your-api-key
agent-tars --provider anthropic --model claude-3-7-sonnet-latest --apiKey your-api-key

Агент работает с разными провайдерами моделей: Anthropic, Volcengine и другими.

UI-TARS Desktop ставится двумя способами: скачать сборку из раздела Releases или через Homebrew:

brew install --cask ui-tars

На macOS приложению нужны два разрешения в System Settings: Accessibility и Screen Recording — без них агент не увидит экран и не сможет управлять мышью. Для Browser Operator потребуется Chrome, Edge или Firefox. Ещё одно ограничение: поддерживается только один монитор, на конфигурациях с несколькими мониторами часть задач может не выполниться.

UI-TARS SDK для разработчиков

Отдельная часть проекта — UI-TARS SDK. Это кроссплатформенный набор инструментов для создания собственных GUI-агентов автоматизации. Когда готовых приложений недостаточно, SDK позволяет построить своего агента поверх той же инфраструктуры.

Для тестирования GUI-агентов в браузере ByteDance также развивает отдельный проект Midscene — он использует модели UI-TARS для автоматизации веб-интерфейсов.

Модель UI-TARS

Всё это работает поверх открытой модели UI-TARS — vision-language модели, обученной взаимодействовать с графическими интерфейсами. Веса доступны на Hugging Face и ModelScope. Технические детали описаны в статье UI-TARS: Pioneering Automated GUI Interaction with Native Agents.

Зачем это нужно

Стек TARS закрывает нишу, где классические кодинг-агенты бессильны: задачи без API. Бронирование билетов, настройка приложений, рутинные операции в интерфейсах — всё это агент выполняет через зрение и действия, как человек. Для разработчиков интересен Agent TARS с его MCP-ядром и событийной архитектурой. Для остальных — UI-TARS Desktop как наглядная демонстрация того, куда движутся computer-use агенты.