DeepSeek-V4.1-Flash-1017: Terminal-Bench 4.0 вырос с 31,2 до 42,3

· 7 мин чтения
deepseek benchmarks open-source-models inference llm
DeepSeek-V4.1-Flash-1017: Terminal-Bench 4.0 вырос с 31,2 до 42,3

17 октября 2026 года DeepSeek выпустила обновление под названием DeepSeek-V4.1-Flash-1017. Это не новое поколение моделей. Число в имени — дата релиза, а сам чекпоинт остался открытым и лицензионным под MIT. Модель предназначена для рассуждений, написания кода, агентных сценариев и работы с изображениями.

Главное изменение — результаты в тестах. Terminal-Bench 4.0 вырос с 31,2 до 42,3 балла. Одновременно модель стала решать задачи быстрее и отдавать более короткие ответы. Ниже разбираем, где именно выросли цифры, кто теперь выигрывает и что придётся переделать в инфраструктуре.

Что вообще выпустили

Это небольшое обновление внутри одной линейки, а не переписывание модели. DeepSeek называет его точечным релизом с датой в имени и присвоила ему тот же номер поколения — V4.1-Flash.

Веса лежат на Hugging Face под лицензией MIT. Это значит, что модель можно свободно использовать, менять и распространять, в том числе в коммерческих продуктах и в своих контурах.

Модель заявлена сразу для четырёх задач: рассуждения, написание кода, агентные сценарии и работа с картинками вместе с текстом.

Бенчмарки: что изменилось в цифрах

Главный сдвиг произошёл в агентных и кодинг-тестах. Вот полный список изменений из таблицы в model card:

Бенчмарк Предыдущий V4.1-Flash Версия 1017 Прирост
Terminal-Bench 4.0 31,2 42,3 +11,1
ProgramBench 20,3 29,1 +8,8
Apex Bench v1.1 64,6 72,1 +7,5
HLE без инструментов, общий балл 36,8 42,6 +5,8
Automation-Bench v1.0.6 54,8 60,5 +5,7
HLE без инструментов, только текст 39,1 44,0 +4,9
Chartography 78,9 83,0 +4,1
DeepSWE v1.1 74,2 77,0 +2,8
NL2Repo-Bench 65,4 68,2 +2,8
BabyVision 89,6 92,5 +2,9
ZeroBench-main 49,0 51,0 +2,0

Что стоит за этими названиями:

  • Terminal-Bench 4.0 — насколько хорошо агент доводит задачи до конца прямо в командной строке. Это самый тяжёлый набор из перечисленных.
  • NL2Repo-Bench — умеет ли модель по описанию на обычном языке развернуть структуру целого репозитория.
  • HLE (Humanity's Last Exam) — общий тест знаний без доступа к инструментам.
  • Automation-Bench — насколько уверенно модель переводит ручные сценарии в автоматические.
  • Chartography, BabyVision, ZeroBench-main — зрение плюс вызов инструментов.

Отдельная деталь: модель стала не только точнее, но и быстрее. DeepSeek прямо пишет, что обновление сокращает время выполнения задач и длину ответов. Для тех, кто гоняет модели в проде, это прямой выигрыш: меньше токенов на ту же задачу означает ниже задержку и ниже счёт за вызов.

Сравнение с конкурентами

Вендор сравнивал релиз с четырьмя моделями: K3, GLM-5.3, GPT-5.6 Sol и Opus 5. Общая картина такая: на агентных и кодинг-тестах DeepSeek теперь первый, а на «чистых» знаниях и общих рассуждениях Opus 5 по-прежнему впереди.

Бенчмарк DeepSeek 1017 Лучший результат конкурентов
Terminal-Bench 4.0 42,3 GPT-5.6 Sol — 39,9, GLM-5.3 — 37,9
DeepSWE v1.1 77,0 первое место среди всех пяти моделей
ProgramBench 29,1 первое место среди всех пяти моделей
Automation-Bench 60,5 первое место среди всех пяти моделей
Agents' Last Exam 35,4 первое место среди всех пяти моделей
Apex Bench 72,1 первое место среди всех пяти моделей
HLE без инструментов, только текст 44,0 Opus 5 — 56,3
NL2Repo-Bench 68,2 Opus 5 — 75,3
BabyVision 92,5 Opus 5 — 94,1
Chartography 83,0 Opus 5 — 84,0
ZeroBench-main 51,0 GPT-5.6 Sol — 53,0

Именно на Terminal-Bench 4.0 позиция поменялась радикально. Предыдущая версия отставала и от GLM-5.3, и от GPT-5.6 Sol. Теперь DeepSeek обгоняет обе.

Логика тут простая и повторяется из релиза в релиз: Flash-модели сильны там, где нужно вызывать инструменты и делать много шагов подряд. Там, где нужно просто знать факт или рассуждать в уме, флагманские модели по-прежнему выигрывают.

Почему так выросли агентные результаты

Технический отчёт к этой линейке называется «DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression». То есть главные инженерные усилия ушли в сжатие KV-кэша.

KV-кэш — это служебная память трансформера. Когда модель читает текст, она не пересчитывает внимание ко всем предыдущим словам заново, а сохраняет результат в этой структуре. Проблема в том, что кэш растёт вместе с длиной диалога и начинает занимать заметную долю видеопамяти.

Чем сильнее сжат кэш, тем больше одновременных запросов можно обслужить на той же видеопамяти. Модель при этом остаётся той же — число параметров не меняется.

Для агента это работает напрямую. Агентный сценарий — это десятки вызовов инструментов, и вся история диалога копится в контексте. Чем экономнее устроена память, тем длиннее такая цепочка проходит без потери качества.

Плюс сам релиз поддерживает контекст на 1 миллион токенов. Без нормального сжатия кэша такой размер контекста остался бы красивой цифрой в описании.

Как устроен релиз

Технические характеристики:

Параметр Значение
Формат весов safetensors, 48 файлов
Квантизация FP8 (8 бит)
Модальности генерация текста, текст + изображения
Поддержка в библиотеке transformers на Hugging Face
Контекст 1 миллион токенов
Минимальная длина ответа 256 тысяч токенов
Рекомендуемая температура 1.0
Рекомендуемый top_p 1.0

Обратите внимание на минимальную длину ответа в 256 тысяч токенов. Это не опечатка: DeepSeek просит выделять под генерацию минимум 256K токенов. Значение нужно задавать заранее, иначе длинные рассуждения могут оборваться на середине.

Главная неудобство: нет Jinja-шаблона

Почти все открытые модели сейчас работают через Jinja-шаблон. Простыми словами: это текстовый файл с шаблоном, который берёт историю сообщений и превращает её в одну строку промпта. Вы не собираете эту строку вручную — библиотека делает это за вас по готовому правилу.

В этой версии такого шаблона нет. Это заметная деталь для всех, кто до сих пор подключал модель одной строкой в библиотеке.

Вместо него DeepSeek даёт две вещи:

  • Свою эталонную реализацию на Python в папке encoding репозитория модели. К ней приложены тесты на многоходовые диалоги, вызов инструментов, режим размышлений, числовые настройки глубины рассуждений, смену системного сообщения прямо посреди диалога и чередование текста с картинками.
  • Отдельный проект deepseek-recipe. Это набор библиотек на Rust с обвязкой для Python, сделанный под продакшен.

deepseek-recipe: что делает тулкит

deepseek-recipe берёт запрос в привычном формате — Messages, Chat Completions или Responses API — и переводит его во внутренний формат диалога DeepSeek. Дальше он кодирует диалог в промпт или в готовые идентификаторы токенов. На выходе тулкит разбирает ответ модели обратно, в том числе потоковый режим.

Что именно покрывает библиотека:

  • цепочки размышлений модели;
  • вызовы инструментов;
  • изображения;
  • настройки генерации.

Чего она не делает — и это важно понимать до того, как вы начнёте планировать внедрение:

  • сам запуск модели (то есть вычисления) остаётся на вас;
  • выполнение инструментов остаётся на вас;
  • передачу по HTTP и логику запросов вы пишете сами.

По сути это аккуратно сделанный слой кодирования промптов. Он снимает самую неприятную часть работы с ручным форматированием, но не заменяет вам весь сервис.

Стоит ли переезжать

Если вы уже работаете на V4.1 Flash, переход выглядит простым: та же линейка, та же лицензия MIT, веса обновляются на месте. Прирост в Terminal-Bench 4.0 почти в полтора раза — это не косметика, а заметная разница для агентов, которые гоняют задачи в терминале.

Если вы только выбираете модель, вендорская таблица подсказывает профиль: автоматизация в терминале, генерация репозиториев и многошаговая работа с инструментами. На этих задачах 1017 обгоняет K3, GLM-5.3 и GPT-5.6 Sol, а Opus 5 обыгрывает по части агентных метрик.

Отдельно считайте трудозатраты: без Jinja-шаблона модель не заработает «из коробки» в привычном пайплайне. Либо берёте эталонный код на Python, либо подключаете deepseek-recipe. Это единственная настоящая сложность во всём обновлении.

Итог

DeepSeek-V4.1-Flash-1017 — дешёвое и быстрое обновление с серьёзным приростом. Модель стала первым номером в агентных и кодинг-тестах среди пяти рассмотренных вендором моделей, обошла Opus 5 по части агентных метрик и при этом стала работать быстрее и отвечать короче. Лицензия MIT, открытые веса и контекст в миллион токенов делают её удобным кандидатом для агентов на длинных цепочках. Единственное, что придётся переделать, — слой кодирования промптов: Jinja-шаблона в релизе нет, вместо него папка encoding и тулкит deepseek-recipe.

Источник: https://www.mindstudio.ai/blog/deepseek-v4-1-flash-1017-release