Prompt Engineering Guide — открытый учебник по промпт-инжинирингу

Prompt Engineering Guide — самая известная открытая база знаний по промпт-инжинирингу. Её ведёт команда DAIR.AI под руководством Элвиса Саравии (Elvis Saravia). Внутри собраны статьи, научные работы, лекции, инструменты и датасеты о том, как составлять промпты для больших языковых моделей (LLM).

Проект популярный. Гид читали больше трёх миллионов человек. Он переведён на 13 языков. В феврале 2023 года репозиторий поднимался на первое место Hacker News. У гайда есть веб-версия: promptingguide.ai.

Что такое промпт-инжиниринг

Промпт-инжиниринг — это дисциплина о разработке и улучшении промптов. Цель — заставить языковую модель решать задачи эффективно и предсказуемо.

У этого навыка две аудитории. Исследователи с помощью промптов повышают точность моделей на сложных задачах: вопросно-ответных системах и логических рассуждениях. Разработчики проектируют надёжные техники промптинга, когда строят приложения поверх LLM и внешних инструментов.

Есть и более базовая польза. Понимание промптов показывает, на что модель способна, а где она упирается в ограничения.

Что внутри гайда

Материалы сгруппированы в разделы. Актуальная версия живёт на сайте promptingguide.ai, а в репозитории лежат исходники и переводы.

• Introduction — введение: настройки модели вроде temperature и top_p, базовые элементы промпта, советы по дизайну, разбор примеров. Начать удобно отсюда: введение и советы.
• Techniques — ядро гайда. Каталог техник от простых к исследовательским: обзор.
• Applications — практические применения: function calling, генерация кода, создание датасетов: раздел.
• Prompt Hub — библиотека готовых промптов под конкретные задачи: Prompt Hub.
• Models — заметки по конкретным моделям: ChatGPT, GPT-4, LLaMA, Mistral 7B, Mixtral, Gemini, Code Llama, Phi-2.
• Risks and Misuses — риски и злоупотребления: adversarial prompting, фактическая точность, предвзятость: раздел рисков.
• Papers — подборка научных работ: обзоры, подходы, применения: Papers.
• Отдельные списки инструментов, ноутбуков, датасетов и дополнительной литературы.

Ключевые техники промптинга

Техники описаны по нарастающей сложности. Вот основные.

Zero-shot prompting — самый простой подход. Вы просто описываете задачу словами. Современные модели хорошо справляются без примеров. Подробности: zero-shot.

Few-shot prompting добавляет контекст через примеры. Достаточно двух-трёх пар «вход — выход», и модель улавливает формат и стиль ответа. Разбор: few-shot.

Chain-of-Thought (CoT) — прорывная техника 2022 года. В промпт добавляют пример с пошаговым рассуждением. Модель повторяет этот стиль и реже ошибается в многошаговых задачах. Разбор: CoT.

Self-Consistency развивает CoT. Одну задачу решают несколькими независимыми цепочками рассуждений. Затем берут ответ, который встречается чаще всего. Точность на задачах с единственным правильным ответом заметно растёт: self-consistency.

Tree of Thoughts (ToT) обобщает идею дальше. Рассуждения образуют дерево: модель ветвит варианты, оценивает их и откатывается назад, если ветка тупиковая. Это сложнее в реализации, но полезно для задач, где нужен поиск по вариантам: ToT.

Retrieval Augmented Generation (RAG) решает другую проблему — устаревание знаний. Промпт дополняется фрагментами из базы документов, найденными по смыслу. Модель отвечает на основе свежих и специфичных данных: RAG.

ReAct соединяет рассуждения и действия. На каждом шаге модель думает, вызывает внешний инструмент — поиск, калькулятор, API — и продолжает рассуждать с учётом результата. Это основа большинства современных агентов: ReAct.

В каталоге есть и более специфичные техники:

• Prompt chaining — сложную задачу дробят на цепочку простых промптов: prompt chaining.
• Generate Knowledge — модель сначала генерирует полезные факты о задаче, потом отвечает: generate knowledge.
• ART — автоматический подбор инструментов и рассуждений для новых задач: ART.
• APE — автоматическая генерация и отбор промптов самой моделью: APE.
• PAL — модель пишет программу, и ответ считает интерпретатор, а не сама LLM: PAL.

Применения на практике

Отдельный раздел показывает техники в деле.

Function calling — стандартный механизм, при котором модель вызывает внешние функции. Вы описываете доступные функции в JSON, модель решает, какую вызвать и с какими аргументами. Так LLM подключают к API, базам данных и калькуляторам: function calling.

Генерация кода — промпты для написания и отладки программ: раздел.

Генерация данных — модели создают синтетические датасеты, в том числе для обучения RAG-систем: раздел.

Prompt Hub собирает готовые промпты по задачам: классификация, написание кода, суммаризация, извлечение информации, математика, вопросно-ответные задачи, проверка фактов. Удобно брать за образец и адаптировать под себя.

Риски и злоупотребления

Гид честно рассказывает об обратной стороне промптинга.

• Adversarial prompting — попытки обмануть модель: утечки системного промпта, инъекции инструкций, обход защит. Разбор: adversarial prompting.
• Factuality — галлюцинации. Модель уверенно выдаёт ложные факты. Разбор: factuality.
• Biases — предвзятость. Модель наследует и усиливает стереотипы из обучающих данных. Разбор: biases.

Лекция и курсы

Команда записала часовую лекцию с обзором техник, применений и инструментов:

• Видеолекция: https://youtu.be/dOxUroR57xs
• Ноутбук с кодом: pe-lecture.ipynb
• Слайды: Prompt-Engineering-Lecture-Elvis.pdf

Для тех, кто хочет системный подход, у DAIR.AI есть платная академия с курсами по промптингу, RAG и AI-агентам: academy.dair.ai.

Как запустить локально

Веб-версия гайда построена на Next.js и Nextra. Пригодится, если хотите проверить перевод или поправить материал:

pnpm i next react react-dom nextra nextra-theme-docs
pnpm dev

Понадобятся Node 18+ и pnpm. Сайт откроется на http://localhost:3000/.

Почему это стоит читать

Гид покрывает весь путь: от первого промпта до исследовательских техник и рисков. Его удобно использовать как справочник: каждая техника описана коротко, с примерами и ссылками на первоисточники. Проект развивается с 2022 года и остаётся эталонным введением в промпт-инжиниринг.

Лицензия — MIT: LICENSE.md.