Firecrawl MCP Server — веб-скрапинг, поиск и исследование сайтов из ИИ-ассистентов

Что такое Firecrawl MCP Server

Firecrawl MCP Server — официальный MCP-сервер компании Firecrawl, который подключает к ИИ-агентам живой веб: поиск, скрапинг и интерактивную работу со страницами. Вместо «сырого» HTML агент получает чистый, готовый к использованию контент. Сервер совместим с Cursor, Claude Desktop, Windsurf, VS Code и любыми другими MCP-клиентами, распространяется по лицензии MIT.

Возможности

• Поиск по вебу с получением полного содержимого страниц
• Поиск по индексу для кодинг-агентов: GitHub issues, merged PR, README и документация
• Скрапинг любого URL в чистые структурированные данные
• Интерактивная работа со страницами — клики, навигация, ввод
• Глубокие исследования автономным агентом
• Автоматические ретраи и rate limiting
• Облачный и self-hosted варианты, поддержка SSE

Подключение

Хостированный сервер (бесплатный тариф без ключа)

Подключаетесь к удалённому серверу без настройки:

https://mcp.firecrawl.dev/v2/mcp

На безключевом тарифе scrape, search и parse работают без API-ключа (с ограничением по частоте). Остальные инструменты (crawl, map, agent) требуют ключ.

Для подключения с OAuth используйте эндпоинт https://mcp.firecrawl.dev/v2/mcp-oauth (это MCP-эндпоинт, а не страница в браузере — используйте flow подключения аккаунта в вашем MCP-клиенте). Для подключения по API-ключу оставайтесь на основном URL и настройте в клиенте заголовок:

Authorization: Bearer <FIRECRAWL_API_KEY>

Ключ нельзя передавать в URL сервера или в чат агента — только в настройках клиента или менеджера секретов.

Запуск через npx

env FIRECRAWL_API_KEY=fc-YOUR_API_KEY npx -y firecrawl-mcp

Установка

npm install -g firecrawl-mcp

Конфигурация в Cursor (v0.48.6+)

Настройки → Features → MCP Servers → «+ Add new global MCP server»:

{
  "mcpServers": {
    "firecrawl-mcp": {
      "command": "npx",
      "args": ["-y", "firecrawl-mcp"],
      "env": {
        "FIRECRAWL_API_KEY": "YOUR-API-KEY"
      }
    }
  }
}

Конфигурация в Claude Desktop

Файл claude_desktop_config.json:

{
  "mcpServers": {
    "mcp-server-firecrawl": {
      "command": "npx",
      "args": ["-y", "firecrawl-mcp"],
      "env": {
        "FIRECRAWL_API_KEY": "YOUR_API_KEY_HERE"
      }
    }
  }
}

Переменные окружения

• FIRECRAWL_API_KEY — обязателен для облачного API (опционален при self-hosted)
• FIRECRAWL_API_URL — кастомный эндпоинт для self-hosted инстансов, например https://firecrawl.your-domain.com
• Для HTTP-транспортов поддерживаются OAuth bearer-токены (fco_…), для stdio — FIRECRAWL_OAUTH_TOKEN

Как выбрать инструмент

Краткое руководство по выбору подходящего инструмента:

Ключевые инструменты

Скрапинг (firecrawl_scrape)

Извлечение контента с одного URL. Рекомендуется JSON-формат со схемой, чтобы вытащить только нужные данные и не переполнить контекст:

{
  "name": "firecrawl_scrape",
  "arguments": {
    "url": "https://example.com/product",
    "formats": [
      {
        "type": "json",
        "prompt": "Extract the product information",
        "schema": {
          "type": "object",
          "properties": {
            "name": { "type": "string" },
            "price": { "type": "number" },
            "description": { "type": "string" }
          },
          "required": ["name", "price"]
        }
      }
    ]
  }
}

Markdown-формат стоит использовать только когда нужен полный контент страницы (например, для суммаризации статьи). Есть и branding-формат для извлечения фирменного стиля (цвета, шрифты, логотип), а с redactPII: true контент возвращается без персональных данных.

Карта сайта (firecrawl_map)

Возвращает массив URL-ов сайта — удобно перед решением, что скрейпить.

Веб-поиск (firecrawl_search)

Поиск по вебу с опциональным извлечением контента из результатов. Возвращает id — его можно передать в firecrawl_search_feedback, чтобы вернуть 1 кредит и улучшить качество поиска.

Краулинг (firecrawl_crawl)

Запускает задачу краулинга, опрашивает её до терминального состояния и возвращает итог. Ответ может быть очень большим — ограничивайте глубину и число страниц.

Автономный агент (firecrawl_agent)

Асинхронный агент для исследований из нескольких источников: сам ищет, переходит по ссылкам и собирает структурированный JSON. Сразу возвращает ID задачи, результат забираете через firecrawl_agent_status.

Интеракция (firecrawl_interact)

Работа со страницей: клики, ввод, навигация. Можно передать url (открыть и взаимодействовать) или scrapeId (продолжить работу с уже открытой страницей).

Поиск для разработчиков (firecrawl_developer_search)

Поиск по индексу для кодинг-агентов: GitHub issues, merged pull requests, README и документация. Опция skills: "only" ищет только по файлам агентских навыков (SKILL.md).

Исследования (firecrawl_research_*)

Поиск и чтение научных статей: аннотации и полные тексты по биомедицинской, life-science и клинической литературе (PubMed, bioRxiv, medRxiv), а также arXiv и другим научным источникам.

Мониторинг (firecrawl_monitor_*)

Создание и управление регулярными проверками страниц: сервер запускает скрейпинг по расписанию, сравнивает с последним снимком и уведомляет вебхуком или email. С goal автоматически оценивается, является ли изменение значимым.

Обработка ошибок и логирование

Сервер логирует статус операций, метрики производительности и состояние rate limit. Ошибки rate limit пробрасываются в MCP-клиент с подробным сообщением.

Разработка

npm install
npm run build
npm test

Контрибьюция: форкните репозиторий, создайте ветку, прогоните тесты и отправьте pull request.

Лицензия

MIT.