У дослідженні Anthropic Constitutional AI описано як метод навчання моделі за письмовими принципами й відгуками AI. Навчальна методика сама не надає агенту право змінити запис, надіслати повідомлення чи витратити кошти. Поведінка моделі й організаційний дозвіл на операцію — різні питання.
Визначте дозволені класи дій, умови, винятки й роль рецензента. Застосуйте правила на межі виконання, де можна зупинити запит до зовнішнього ефекту. Збережіть контекст рішення, щоб перевірити роботу контролю.
Офіційне джерело: Anthropic: Constitutional AI.
Перетворіть політику на перевірювані умови
Фраза «не робити нічого ризикованого» не визначає поведінки системи. Опишіть суб’єкта, дію, ресурс, умови, пороги та потрібне погодження; вкажіть власника й версію політики. Розділіть дозволені, заборонені, умовні та невідомі класи. Невідомий контекст не має автоматично перейти до виконання.
Промпт може допомогти сформувати запит, але не є механізмом примусового контролю. Перевірка має відбуватися там, де запит переходить до інструмента чи системи, що змінює стан. Якщо є інший шлях до тієї самої операції, перевірте й його: інакше контролюється лише один вхід.
Зміна правила — це зміна поведінки системи. Зберігайте історію версій, хто затвердив оновлення, з якої дати воно діє, які тести пройшло й як повернути попередній варіант. Перевіряйте паралельні запити під час переходу, щоб одна дія не оцінювалася за невідомою чи застарілою версією.
Зупиняйте дію до зовнішнього ефекту
Коли потрібне погодження, процес призупиняє виконання, показує людині структурований контекст і продовжує лише після актуального рішення. Погодження прив’язують до конкретної дії, цілі й версії політики. Якщо запит змінився, старе рішення не має автоматично поширюватися на нову дію.
Визначте реакцію на тайм-аут, недоступність оцінювача, конфлікт правил і втрату з’єднання. Для важко зворотної дії мовчання не має ставати дозволом. Поверніть відмову чи стан очікування, запишіть причину та призначте власника ескалації. Захистіть повтор від дублювання.
Рецензенту потрібні повноваження відхилити дію, запросити дані чи передати її іншій ролі, а не тільки кнопка «погодити». Показуйте коротке пояснення правила й докази, достатні для рішення. Якщо контекст змінився або строк запиту минув, вимагайте нової оцінки замість використання старого схвалення.
Перевірте, що контроль стоїть на шляху
Програйте дозволену й заборонену дію, межу порогу, прострочене погодження та альтернативний вхід до інструмента. Переконайтеся, що правило перевіряється до операції, а не лише спостерігається згодом. «Модель зазвичай відмовляє» не доводить, що виклик інструмента заблокований без вердикту.
Зв’яжіть дію, версію правила, вердикт і результат. Перевірте сигнал про пропущену оцінку, але не вважайте запис доказом охоплення кожного шляху. Повторюйте негативні перевірки після зміни інструментів, політики чи ролей.
Окремо перевіряйте, чи система справді утримує інструмент від виконання до вердикту. Логи після факту можуть підтвердити, що сталося, але не запобігають повторенню. Для негативного контролю навмисно обійдіть очікуваний шлях у тестовому середовищі й переконайтеся, що прямий виклик також відхиляється.
- Дозвіл: визначений клас і умови
- Погодження: очікування визначеної ролі
- Немає відповіді: явна зупинка
- Відмова: причина та відповідальний
Що можна зробити зараз
Виберіть одну операцію зі значущим наслідком і намалюйте шлях до зовнішньої системи. Позначте точку рішення, дані для погодження, тайм-аут і альтернативні входи. Перевірте дозволений, відхилений і неповний запит, перш ніж поширювати контроль на інші дії.
