Дослідження Constitutional AI від Anthropic 2022 року описує навчання моделі за набором принципів: керовану фазу критики й перегляду та навчання з підкріпленням за відгуками AI. У цій статті застосування організаційних політик під час виконання розглядається як окремий інженерний підхід.
Для розгортання також потрібні рішення про доступ до даних, виклики інструментів та схвалення значущих дій. Застосовуйте обрані межі через контроли відповідно до процесу та зберігайте контекст для перевірки їхньої роботи.
Докази навчання та роботи контролів відповідають на різні питання. Перевіряйте обидва для призначення системи, не вважаючи техніку навчання доказом застосування організаційних дозволів.
Коротко про головне
- Constitutional AI — метод навчання, вплив якого формує поведінку моделі під час використання
- Runtime-застосування конституційних правил — це окремий архітектурний шар, що застосовує політики під час виробничого виконання
- Обидва підходи доповнюють один одного: навчання формує поведінку за замовчуванням; runtime-застосування ловить те, що навчання пропускає
- Runtime constitutional AI вимагає трьох речей: формальної конституції, оцінювача реального часу та журналювання із захистом від фальсифікації
- Обирайте контроли для ризиків і застосовних обов'язків системи; узгодження моделі не встановлює організаційної авторизації
Що насправді робить Constitutional AI від Anthropic
Мета Constitutional AI (CAI) — ефективність навчання та відповідність цінностям. Замість того, щоб маркувати кожну потенційно шкідливу відповідь зворотним зв’язком від людей, вони навчили модель критикувати та переглядати власні відповіді відносно списку принципів.
Конституція навчання не встановлює схвалених дій або порогів вашого розгортання. Визначте їх із власної політики та застосовних обов'язків і перевірте контроли на межах даних і дій. Constitutional AI не встановлює універсального порогу страхових виплат.
Повні відомості про підхід Anthropic см. у статті про дослідження Constitutional AI.
Виробничий розрив
| Проблема | Anthropic CAI (навчання) | Runtime-застосування (розгортання) |
|---|---|---|
| Загальне запобігання шкоді | Мета навчання; поведінка потребує оцінки | Оцінюйте поведінку моделі в розгортанні |
| Організаційно-специфічні правила | Дозволи розгортання не встановлюються методом навчання | Застосовуйте схвалені дозволи на відповідних межах |
| Оцінка політик на кожен запит | Охоплення контролем кожного запиту не встановлюється методом навчання | Обирайте перевірки для дій, що потребують шлюзу |
| Захищені від фальсифікації записи аудиту | Цілісність записів не встановлюється методом навчання | Обирайте цілісність записів за потребами перевірки |
| Блокування порушень у реальному часі | Блокування конкретних дій інструментів не встановлюється методом навчання | Тестуйте блокування на охоплених шляхах виконання |
| EU AI Act Стаття 9, управління ризиками | Управління ризиками життєвого циклу не встановлюється методом навчання | Пов'язуйте контроли з обраними заходами управління ризиками |
Навчання може формувати звичну поведінку, а контроли розгортання — обмежувати конкретні дії. Жодне з них окремо не гарантує безпеки; перевіряйте взаємодію, шляхи збоїв і межі кожного контролю.
Як виглядає runtime Constitutional AI
Формальна конституція
Ваша організаційна конституція — це машино-парсований документ, що визначає дозволені дії, заборонені дії, умови, пороги та тригери ескалації.
Документуйте ідентичність політики, статус перевірки, межі дій та умови ескалації:
policy_identity- Ідентифікатор і версія схваленої політики.
review_record- Реальний власник перевірки, рішення та чинний статус.
permitted- Схвалені класи дій та умови, потрібні для авторизації.
prohibited- Класи дій, явно заборонені схваленою політикою.
escalation- Умови перевірки та призначений уповноважений перевіряючий або процес.
failure_behavior- Задокументована реакція на відсутній контекст, конфлікт правил, недоступність контролів або прострочене схвалення.
Оцінювач реального часу
Оцінювач отримує запит дії агента і перевіряє його за поточною конституцією. Для кожної дії він визначає: чи дозволено це за поточних умов? Чи відповідає порогу для ескалації? Прямо заборонено?
Оцінювач повинен працювати синхронно — він не може бути асинхронним процесом моніторингу, що виявляє порушення постфактум. Застосування вимагає перехоплення до виконання.
Журналювання із захистом від фальсифікації
Записуйте версію політики, оцінену дію, вердикт і потрібний для перевірки контекст. Обирайте контроли цілісності за моделлю загроз; підписи й хеш-ланцюжки — варіанти, а не універсальні законодавчі вимоги. Перевіряйте виявлення пропущених оцінок та обходів.
Чому лише навчання недостатньо для продакшену
Зміна політики: оновлюйте правила через перевірку, версіонування та тести до випуску. Оновлення runtime-політики може не потребувати перенавчання моделі, але вимагає валідації, авторизації та плану відкату.
Сценарій 2: Експлуатація граничних випадків. Модель, навчена на загальних принципах, може бути підштовхнута до дій, що відповідають навчанню, але порушують конкретну організаційну політику.
Сценарій 3: Докази аудиту. Регулятор запитує докази того, що ваш агент працював у межах політики в конкретний період. Runtime-записи — оцінки, рішення, посилання на політики — відповідають на це питання. Артефакти навчання — ні.
Часті запитання
П: Чи можу я використовувати конституцію навчання моделі замість написання своєї?
Використовуйте інформацію про навчання для розуміння передбаченої поведінки моделі, а потім визначте повноваження й обмеження розгортання. Їх можуть застосовувати наявні контроли доступу, дозволи інструментів, схвалення або додаткові runtime-перевірки за ризиком; новий шар не потрібен автоматично.
П: Як ви обробляєте конституційні правила, що конфліктують?
Конфлікти правил — реальна проблема проектування. Конституція повинна включати явний порядок пріоритетів. Коли конфлікт дійсно є нерозв’язним у момент оцінки, правильне рішення за замовчуванням — ескалація.
П: Чи працює це з мультиагентними системами?
Так, і це особливо важливо в мультиагентних архітектурах. Кожен агент у конвеєрі потребує власного обсягу управління, і шар підзвітності повинен відстежувати повний ланцюжок авторизацій між агентами.
Микола Ковтун, засновник Infracortex AI Studio. Ми реалізуємо runtime-застосування конституційного AI для виробничих стеків агентів. Забронюйте дзвінок.
Дивіться також: Що таке шар підзвітності AI-агентів? | Чому runtime — це commodity, а управління — це рів (EN)