AI Engineering from Scratch — 523 урока по инженерии ИИ от линейной алгебры до агентов

Материалы по ИИ обычно разбросаны: здесь статья, там пост про дообучение, где-то красивый демо-агент. Детали редко складываются в одну картину. Репозиторий rohitg00/ai-engineering-from-scratch — как раз такая попытка: единая программа из 523 уроков и 20 фаз, где математика лежит в фундаменте, а агенты и продакшн — на крыше. Около 342 часов материала, лицензия MIT, ~58 тысяч звёзд и 10 тысяч форков. Код на Python, TypeScript, Rust и Julia.

Ключевая идея — не «посмотреть», а «построить». Каждый алгоритм сначала пишется из сырой математики, и только потом запускается через production-библиотеку. Формулировка репозитория простая: не нужно учить ИИ — нужно его строить, от начала до конца, руками.

Что внутри

Фазы выстроены лестницей: от линейной алгебры и классического ML к глубокому обучению, зрению, NLP и речи, затем к трансформерам, генеративным моделям, reinforcement learning, LLM, мультимодальности, инструментам и протоколам, агентной инженерии, автономным системам, роям, инфраструктуре, этике и финальным проектам.

Как устроен один урок

Каждая папка урока одинакова по всей программе:

phases/<NN>-<phase-name>/<NN>-<lesson-name>/
├── code/      runnable implementations (Python, TypeScript, Rust, Julia)
├── docs/
│   └── en.md  lesson narrative
└── outputs/   prompts, skills, agents, or MCP servers this lesson produces

Урок состоит из шести обязательных шагов. Дело не в формулировках, а в порядке: сырая математика всегда идёт раньше фреймворка.

1. Motto — одна строка с ядром идеи.
2. Problem — конкретная боль.
3. Concept — схемы и интуиция.
4. Build it — реализация без фреймворков.
5. Use it — то же самое через PyTorch или scikit-learn.
6. Ship it — артефакт: промпт, скилл, агент или MCP-сервер.

Разделение «Build it / Use it» — это хребет всей программы. Вы понимаете, что делает библиотека, потому что только что написали её меньшую версию сами. Например, агентный цикл из фазы 14 — это около 120 строк чистого Python без зависимостей:

def run(query, tools):
    history = [user(query)]
    for step in range(MAX_STEPS):
        msg = llm(history)
        if msg.tool_calls:
            for call in msg.tool_calls:
                result = tools[call.name](**call.args)
                history.append(tool_result(call.id, result))
            continue
        return msg.content
    raise StepLimitExceeded

Что полезно именно для AI-кодинга

Программа широкая, но две фазы бьют по вашему нерв сайта — инструментам и агентам.

Фаза 13 «Tools & Protocols» — 31 урок об интерфейсах между ИИ и реальным миром: интерфейс инструментов, function calling, параллельные и потоковые вызовы, структурированный вывод, проектирование схем инструментов. Дальше — MCP целиком: основы, сборка сервера и клиента, транспорты, ресурсы и промпты, tasks, security, OAuth 2.1, гейтвеи и реестры, conformance. Отдельный маршрут из 17 уроков идёт от stateless-запросов до governance реестра, а ещё один — из пяти уроков по Agent Skills: контракт пакета, discovery, вызов, песочницы, release-eval и переносимость.

Фаза 14 «Agent Engineering» — 54 урока и самая ценная часть для практики. Агентный цикл, ReWOO, ReAct, память (virtual context, memory paging, гибридная память vector + graph + KV), планирование, оркестрация на графах, Actor-модель, role-based команды, OpenAI Agents SDK, harness как библиотека, computer use, voice-агенты, observability, prompt injection и режимы отказов. С 31 по 42 урок идёт блок Agent Workbench — почему даже сильные модели проваливаются на реальных репозиториях и как это чинится: инструкции как исполняемые ограничения, память репозитория, initialization-скрипты, контракты границ задачи, рантайм-фидбек-лупы, verification gates, ревьюер-агент с отдельным маркером, передача между сессиями. Уроки 31–46 собраны в маршрут Agent-Assisted Engineering, 47–54 — в Product Judgment and Delivery: сформулировать результат до выбора формата вывода, построить план с доказательствами, делегировать с изоляцией и контрактом слияния, превратить каждую правку агента в системное улучшение.

Стартовые ориентиры из самого репозитория:

AI-тьютор в терминале

Если установлены Node.js, npx и агент, умеющий работать со скиллами, весь курс ставится одной командой — клон не обязателен:

npx skills add rohitg00/ai-engineering-from-scratch

Устанавливаются девять скиллов-тьюторов. start-learning проводит онбординг и placement-квиз из десяти вопросов, по результатам которого сохраняет персональный план в LEARNING.md. learn — сам цикл обучения: разогрев по памяти, один урок за сессию, концепт, математика, код, затем квиз и запись прогресса. course-guide отвечает на вопросы вида «где объясняют attention» или «у меня loss равен NaN» и отправляет прямо на нужные уроки. check-understanding даёт квиз по конкретной фазе.

Форма вызова зависит от хоста:

Альтернатива — читать на сайте без установки чего-либо, или склонировать репозиторий и запускать код уроков напрямую.

Артефакты, которые можно забрать с собой

Другие программы заканчиваются словами «поздравляем, вы выучили X». Здесь каждый урок отдаёт переиспользуемый инструмент: промпт, скилл, агент или MCP-сервер. По состоянию репозитория под phases/**/outputs/ лежит 396 скиллов и 99 промптов, а итог — портфолио из артефактов, которые вы понимаете, потому что сами их написали.

python3 scripts/install_skills.py <target> --type all
python3 scripts/install_skills.py <target> --phase 14
python3 scripts/install_skills.py <target> --tag rag
python3 scripts/install_skills.py <target> --dry-run

<target> — это директория скиллов вашего агента: ~/.claude/skills/, ~/.cursor/skills/, ~/.config/openclaw/skills/ и подобные. Есть раскладки skills, by-phase и flat, а каждый запуск пишет manifest.json с полным инвентарём.

Отдельный кайф — Agent Workbench pack из финального проекта фазы 14. Это готовый набор AGENTS.md, схем и init / verify / handoff-скриптов, который внедряется в любой ваш репозиторий:

python3 scripts/scaffold_workbench.py path/to/your-repo

На выходе — семь рабочих поверхностей, стартовый task_board.json и свежий agent_state.json. Дальше вы правите задачу, правите AGENTS.md, запускаете scripts/init_agent.py и отдаёте контракт агенту.

Книга, каталог и проверки

Основные 20 фаз собираются в книгу из шести томов — EPUB и PDF CI собирает из тех же исходников уроков и прикрепляет к каждому релизу: от Foundations и Deep Learning до LLM, Agents и Production. Номер тома — это индекс серии, а не версия: у каждой копии есть датированный штамп издания, старые издания остаются в старых релизах. Локальная сборка — python3 scripts/build_book.py, для этого нужен pandoc.

Для автоматизации есть scripts/build_catalog.py, который обходит все фазы и артефакты на диске и пишет catalog.json в корень — считает он по файловой системе, а не по README, поэтому цифры всегда сходятся. GitHub Action пересобирает каталог на каждом PR и роняет сборку, если файл устарел.

Проверок тоже хватает. scripts/lesson_run.py байт-компилирует каждый .py в code/, а с флагом --execute реально запускает уроки с десятисекундным таймаутом, пропуская те, что помечены зависимостями. scripts/audit_lessons.py проверяет инварианты структуры и схемы квизов, а относительные ссылки внутри уроков считаются ошибкой.

Сертификации

Отдельные бесплатные программы готовят к официальным экзаменам. Claude Certification Academy покрывает все четыре трека — Associate Foundations, Developer Foundations, Architect Foundations и Architect Professional, с лабораториями, диагностикой, капстоуном и полноценным пробным экзаменом. Программа MCPA — 34 урока по экзамену Model Context Protocol Associate от Agentic AI Foundation: stateless-протокол, _meta и server/discover вместо старого хендшейка, подписки, кэширование, tasks, MCP Apps, OAuth, реестр и SDK. Обе честно оговаривают, что не связаны с экзаменаторами и не гарантируют результат.

Итог

Это не список ссылок и не курс из видео. Это 523 папки с рабочим кодом и готовым артефактом в каждой, единая логика «сначала математика, потом фреймворк», установка AI-тьютора одной командой и отдельные короткие маршруты под конкретную задачу. Если вас интересует не «как использовать агента», а «почему он ломается на моём репозитории и что с этим делать», — фаза 14 и маршрут Agent-Assisted Engineering здесь самые прямые ответы.