Исследование Constitutional AI Anthropic 2022 года описывает обучение модели по набору принципов: управляемую фазу критики и пересмотра и обучение с подкреплением по отзывам AI. В этой статье применение организационных политик во время исполнения рассматривается как отдельный инженерный подход.
Для развёртывания также нужны решения о доступе к данным, вызовах инструментов и одобрении значимых действий. Применяйте выбранные границы через контроли сообразно процессу и храните контекст для проверки их работы.
Доказательства обучения и работы контролей отвечают на разные вопросы. Проверяйте оба для назначения системы, не считая технику обучения доказательством применения организационных разрешений.
Коротко о главном
- Constitutional AI — метод обучения, влияние которого формирует поведение модели при использовании
- Runtime-применение конституциональных правил — это отдельный архитектурный слой, применяющий политики во время производственного выполнения
- Оба подхода дополняют друг друга: обучение формирует поведение по умолчанию; runtime-применение ловит то, что обучение упускает
- Runtime constitutional AI требует трёх вещей: формальной конституции, оценщика реального времени и логирования с защитой от фальсификации
- Выбирайте контроли для рисков и применимых обязанностей системы; согласование модели не устанавливает организационной авторизации
Что на самом деле делает Constitutional AI от Anthropic
Цель Constitutional AI (CAI) — эффективность обучения и соответствие ценностям. Вместо того чтобы маркировать каждый потенциально вредный ответ обратной связью от людей, они обучили модель критиковать и пересматривать собственные ответы относительно списка принципов.
Конституция обучения не устанавливает одобренных действий или порогов вашего развёртывания. Определите их из собственной политики и применимых обязанностей и проверьте контроли на границах данных и действий. Constitutional AI не устанавливает универсального порога страховых выплат.
Полные сведения об подходе Anthropic см. в статье об исследовании Constitutional AI.
Производственный разрыв
| Проблема | Anthropic CAI (обучение) | Runtime-применение (развёртывание) |
|---|---|---|
| Общее предотвращение вреда | Цель обучения; поведение требует оценки | Оценивайте поведение модели при развёртывании |
| Организационно-специфические правила | Разрешения развёртывания не устанавливаются методом обучения | Применяйте одобренные разрешения на соответствующих границах |
| Оценка политик на каждый запрос | Охват контролем каждого запроса не устанавливается методом обучения | Выбирайте проверки для действий, которым нужен шлюз |
| Защищённые от фальсификации записи аудита | Целостность записей не устанавливается методом обучения | Выбирайте целостность записей по потребностям проверки |
| Блокировка нарушений в реальном времени | Блокировка конкретных действий инструментов не устанавливается методом обучения | Проверяйте блокировку на охваченных путях исполнения |
| EU AI Act Статья 9, управление рисками | Управление рисками жизненного цикла не устанавливается методом обучения | Связывайте контроли с выбранными мерами управления рисками |
Обучение может формировать обычное поведение, а контроли развёртывания — ограничивать конкретные действия. Ни одно из них отдельно не гарантирует безопасности; проверяйте взаимодействие, пути сбоев и пределы каждого контроля.
Как выглядит runtime Constitutional AI
Формальная конституция
Ваша организационная конституция — это машинопарсируемый документ, определяющий разрешённые действия, запрещённые действия, условия, пороги и триггеры эскалации.
Документируйте идентичность политики, статус проверки, границы действий и условия эскалации:
policy_identity- Идентификатор и версия одобренной политики.
review_record- Реальный владелец проверки, решение и действующий статус.
permitted- Одобренные классы действий и условия, необходимые для авторизации.
prohibited- Классы действий, явно запрещённые одобренной политикой.
escalation- Условия проверки и назначенный уполномоченный проверяющий или процесс.
failure_behavior- Документированная реакция на отсутствующий контекст, конфликт правил, недоступность контролей или истёкшее одобрение.
Оценщик реального времени
Оценщик получает запрос действия агента и проверяет его по текущей конституции. Для каждого действия он определяет: разрешено ли это при текущих условиях? Соответствует ли порогу для эскалации? Прямо запрещено?
Оценщик должен работать синхронно — он не может быть асинхронным процессом мониторинга, обнаруживающим нарушения постфактум. Применение требует перехвата до выполнения.
Логирование с защитой от фальсификации
Записывайте версию политики, оценённое действие, вердикт и необходимый для проверки контекст. Выбирайте контроли целостности по модели угроз; подписи и хеш-цепочки — варианты, а не универсальные законодательные требования. Проверяйте обнаружение пропущенных оценок и обходов.
Почему только обучения недостаточно для продакшена
Изменение политики: обновляйте правила через проверку, версионирование и тесты до выпуска. Обновление runtime-политики может не требовать переобучения модели, но требует валидации, авторизации и плана отката.
Сценарий 2: Эксплуатация граничных случаев. Модель, обученная на общих принципах, может быть подтолкнута к действиям, соответствующим обучению, но нарушающим конкретную организационную политику.
Сценарий 3: Доказательства аудита. Регулятор запрашивает доказательства того, что ваш агент работал в рамках политики в конкретный период. Runtime-записи — оценки, решения, ссылки на политики — отвечают на этот вопрос. Артефакты обучения — нет.
Часто задаваемые вопросы
В: Могу ли я использовать конституцию обучения модели вместо написания своей?
Используйте информацию об обучении для понимания предполагаемого поведения модели, затем определите полномочия и ограничения развёртывания. Их могут применять существующие контроли доступа, разрешения инструментов, одобрения или дополнительные runtime-проверки по риску; новый слой не нужен автоматически.
В: Как вы обрабатываете конституциональные правила, которые конфликтуют?
Конфликты правил — реальная проблема проектирования. Конституция должна включать явный порядок приоритетов. Когда конфликт действительно неразрешим в момент оценки, правильное решение по умолчанию — эскалация.
В: Работает ли это с мультиагентными системами?
Да, и это особенно важно в мультиагентных архитектурах. Каждый агент в конвейере нуждается в собственном объёме управления, и слой подотчётности должен отслеживать полную цепочку авторизаций между агентами.
Николай Ковтун, основатель Infracortex AI Studio. Мы реализуем runtime-применение конституционального AI для производственных стеков агентов. Забронируйте звонок.
См. также: Что такое слой подотчётности AI-агентов? | Почему runtime — это commodity, а управление — это ров (EN)