Screenpipe — локальная история компьютера как контекст для ИИ-агентов

· 5 мин чтения
screen-recording ai-agents context automation mcp
📂 Исходный код на GitHub

Локальная запись истории компьютера с поиском по ней, обнаружением повторяющихся процессов и интеграцией с ИИ-агентами через API и MCP.

Screenpipe — локальная история компьютера как контекст для ИИ-агентов

Screenpipe — проект из Y Combinator (батч S26) на Rust, который записывает всё, что происходит на вашем компьютере: экран, окна и звук. Запись хранится локально. Поверх этой истории проект находит повторяющиеся задачи и помогает превратить их в автоматизации и контекст для ИИ-агентов. Слоган проекта: «Screenpipe находит работу, которую стоит автоматизировать».

Зачем он нужен

Прежде чем поручить задачу агенту, полезно понять, что именно вы делаете вручную и сколько времени это занимает. Screenpipe закрывает первый шаг: он непрерывно наблюдает за работой и превращает её в материал, который можно искать и анализировать. Полный цикл авторы описывают формулой «запись → обнаружение → проверка → запуск где угодно».

Проект позиционируют как альтернативу Rewind (Limitless), Microsoft Recall, Granola и Otter.ai. Разница в том, что Screenpipe не ограничивается поиском по истории: история отдаётся через REST API, MCP-сервер и JS SDK, и на её основе можно строить собственные агенты и автоматизации.

Главная функция — обнаружение процессов. Система замечает, что одна и та же работа повторяется, и собирает отчёт: что запускает процесс, какие системы в нём задействованы, где происходит передача между людьми, как часто он случается, где возникают сбои и исключения, что можно улучшить и каких данных не хватает для полной автоматизации. Отчёт можно собрать вручную («Automate My Work») или настроить его сбор по расписанию.

Архитектура из шести слоёв

  1. Захват событий. Кадры снимаются не по таймеру, а когда на экране что-то меняется. Скриншот дополняется деревом доступности операционной системы — структурой окон и элементов интерфейса. Если дерево недоступно, включается OCR: Apple Vision на macOS, Windows OCR на Windows, Tesseract как запасной вариант. Записываются все подключённые мониторы.
  2. Звук. Расшифровка речи: локально через Whisper (Large-V3-Turbo) или в облаке через Deepgram, с разделением по спикерам.
  3. Хранилище. Локальный SQLite с полнотекстовым поиском (FTS5), медиафайлы лежат на диске.
  4. API. REST-сервер на localhost:3030.
  5. Pipes. Слой плагинов — запланированных агентов (о них ниже).
  6. Интерфейс. Настольное приложение на Tauri (Rust + TypeScript).

Установка

Готовые сборки есть для macOS (Apple Silicon и Intel), Windows 10/11 и Linux x86_64 (AppImage). Либо можно обойтись без приложения и запустить запись через CLI:

npx screenpipe record
npx screenpipe setup

Поиск по истории

История экрана и встреч ищется на естественном языке — поиск работает по тексту с экрана и расшифровкам через SQLite FTS5. Приложение показывает результаты в виде таймлайна с перемоткой дня, как в видеорегистраторе: можно «отмотать» к нужному моменту.

Для программного доступа есть REST API. Пример запроса:

GET http://localhost:3030/search?q=meeting+notes&content_type=all&limit=10

Также существует JS SDK @screenpipe/js с методом pipe.queryScreenpipe для запросов из собственного кода.

Pipes: агенты в markdown-файлах

Pipes — это запланированные ИИ-агенты, которые описываются обычным markdown-файлом pipe.md в каталоге ~/.screenpipe/pipes/. Файл исполняет кодинг-агент (pi или Claude Code), поэтому новый агент — это просто текст, который вы отредактировали.

Встроенные pipes: конспект встречи (meeting-summary), итоги дня (day-recap), обновление для стендапа (standup-update), разбор того, куда ушло время (time-breakdown), журнал ИИ-запросов (ai-prompt-journal) и экспорт видео.

У каждого pipe свои права доступа, заданные в YAML-заголовке файла: какие приложения и окна можно читать, какие типы контента и диапазоны времени разрешены, разрешён ли прямой SQL-доступ и доступ к кадрам экрана. Правила исполняются не «по просьбе модели», а детерминированно на трёх уровнях: ограничение скилла, перехват действий агента и промежуточный слой на сервере с отдельным криптографическим токеном для каждого pipe.

MCP и скилл для кодинг-агентов

Screenpipe поднимает MCP-сервер, через который ассистенты могут искать по истории экрана и расшифровкам встреч без дополнительной настройки. Сервер совместим с Claude Desktop, Cursor, Cline, ChatGPT и другими MCP-клиентами. Подключение к Claude:

claude mcp add screenpipe -- npx -y screenpipe-mcp@latest

После этого агенты отвечают на вопросы вроде «что я видел за последние 5 минут?» или собирают ограниченные по объёму отчёты о повторяющихся процессах.

Для кодинг-агентов в репозитории есть отдельный скилл SKILL.md: Claude Code, Codex, Gemini CLI и Cursor должны прочитать его перед работой с CLI screenpipe. В скилле описаны режим «сначала запустить запись как сервис», работа только через API, локальный поиск, доступ к SQLite только на чтение, pipes и соединения.

Вне собственного приложения Screenpipe работает с любыми исполнителями автоматизации: Screenpipe Cloud, Zapier, n8n, Claude Code, Codex или самостоятельно запущенные агенты. Модель тоже можно выбрать любую — облачную или локальную через Ollama.

Приватность и потребление ресурсов

  • Данные остаются на устройстве, аккаунт для работы не нужен. Есть опциональная шифрованная синхронизация.
  • Аналитика PostHog и отчёты о сбоях Sentry включены по умолчанию — их отключают в Settings → Privacy → Analytics.
  • Захват тратит примерно 5–20% CPU и 0,5–3 ГБ ОЗУ; рекомендуется иметь 8 ГБ памяти.

Для команд и компаний

Для организаций есть отдельный набор функций: централизованное управление конфигурацией, общие pipes для всей команды, установка через системы MDM (Intune, SCCM, Robopack), единый вход SSO/SAML и журналы аудита. Отчёт SOC 2 Type 2 предоставляют по запросу под NDA. Для корпоративных развёртываний цена рассчитывается отдельно.

Лицензия

Проект распространяется под Screenpipe Commercial License. Исходный код открыт для чтения, но это не классический open source: бесплатно для личного и некоммерческого использования, а также для некоммерческих организаций, образования и исследований. Для коммерческого использования нужна платная лицензия — есть тарифы Free, Basic и Business, для компаний условия обсуждаются отдельно. Условия описаны в LICENSE.md, документация и сообщество — на docs.screenpi.pe и в Discord.

Источник: https://github.com/screenpipe/screenpipe