Для страхового агента, що приймає первинні заяви про страхові випадки, перевіряйте повноваження за кожною значущою дією. Запис зміни франшизи не встановлює, хто її дозволив і чи залишився агент у межах доручення.
Визначте дозволені дії агента, пов'язані з ними умови та випадки, коли потрібне рішення людини.
Шар підзвітності — один зі способів застосувати ці межі та зберегти контекст рішення.
Коротко про головне
- Шар підзвітності AI-агентів знаходиться між вашим застосунком і runtime агента
- Він застосовує конституційні правила, генерує захищені від фальсифікації записи аудиту та управляє ескалацією
- Це не інструмент моніторингу — моніторинг спостерігає постфактум; підзвітність застосовує правила до виконання
- Три компоненти визначають його: рушій політик, реєстр доказів і шлюз ескалації
- Обирайте контроли для реально застосовних обов'язків і критеріїв перевірки; жоден окремий іменований шар не встановлює відповідності AI Act, SOC 2 або HIPAA
Що таке шар підзвітності
Шар підзвітності — це інфраструктура, а не дашборд, не сервіс журналювання, не звіт про відповідність. Це компонент архітектури агента, який обробляє кожну дію агента до її виконання і записує верифіковані докази того, що вона була оброблена.
Концепція проста: агент хоче виконати дію. До виконання шар підзвітності оцінює, чи дозволена ця дія відповідно до поточних правил управління. Він записує оцінку та її результат. Якщо дозволено — дія продовжується. Якщо ні — блокується або ескалується. В обох випадках існує підписаний, захищений від фальсифікації запис.
Це відрізняється від спостережуваності. Інструмент спостережуваності стежить за тим, що робить ваш агент, і виявляє аномалії постфактум. Шар підзвітності застосовує правила про те, що може робити ваш агент, і виробляє докази в момент прийняття рішення.
Думайте про це так: банк має відеокамери (спостережуваність) і двері сейфу (підзвітність). Камера фіксує, що відбулося. Двері сейфу вирішують, що дозволено. Вам потрібно і те, і інше. Більшість AI-розгортань мають лише камеру.
Три компоненти
1. Рушій політик
Рушій політик — це місце, де живуть правила управління. Це явні, перевірені людьми правила, що визначають, що агенту дозволено робити в якому контексті, за яких умов.
Фінтех-агент, що працює з акаунтами клієнтів, може мати правила:
- «Повернення коштів до $50 автоматично дозволено для акаунтів у доброму статусі»
- «Закриття акаунту вимагає схвалення людини незалежно від балансу»
- «Вихідні дзвінки клієнтам дозволені лише з понеділка по п’ятницю, 09:00–18:00 місцевого часу»
Ці правила формують конституцію управління. Рушій політик оцінює вхідні дії відповідно до цієї конституції і повертає рішення: PERMIT (дозволити), DENY (заборонити), RESTRICT (дозволити з обмеженнями) або ESCALATE (направити людині).
2. Реєстр доказів
Кожне рішення рушія політик виробляє запис доказів. Реєстр доказів зберігає ці записи так, що їх неможливо змінити без виявлення.
Обирайте засоби цілісності доказів відповідно до загроз, які потрібно виявляти. Підписи й хеш-ланцюжки — варіанти; також важливі захищене зберігання, контроль доступу, керування ключами та незалежна перевірка. Окремий механізм не доводить повноти запису чи авторизації початкової дії.
Реєстр доказів — це audit trail. Коли регулятор запитує «що робив ваш агент 14 березня і хто це авторизував», відповідь надходить з реєстру, а не з журналів застосунку.
3. Шлюз ескалації
Деякі рішення агента вимагають перевірки людиною до виконання. Шлюз ескалації — це механізм, який зупиняє виконання, сповіщає відповідну людину, чекає схвалення і або дозволяє, або забороняє дію на основі цього схвалення.
Шлюз ескалації може підтримувати нагляд за статтею 14 для системи високого ризику. Перевірте, чи призначені люди отримують придатну інформацію та можуть дієво втручатися; черга або кнопка схвалення сама по собі не встановлює ефективного нагляду.
| Компонент | Функція | Замінює/доповнює |
|---|---|---|
| Рушій політик | Оцінює дії відповідно до конституційних правил | Ручну перевірку, неформальні норми |
| Реєстр доказів | Виробляє захищені від фальсифікації записи аудиту | Журнали застосунків, рядки БД |
| Шлюз ескалації | Направляє високоризиковані дії на перевірку людиною | Неформальну ескалацію |
Чому «просто журналювати все» не працює
Інстинкт при питанні про підзвітність AI — додати більше журналювання. Це неправильна відповідь з трьох причин.
Обсяг — не доказ. Мільйон записів журналу, що не показують контекст авторизації, не стають доказами аудиту через більшу кількість. Аудиторам потрібна якість: чи була ця дія дозволена, ким, за яким правилом?
Ретроспективна реконструкція аудиту не працює. Якщо ви журналюєте дії і потім намагаєтесь реконструювати авторизацію постфактум, ви не можете довести, що авторизація існувала в момент дії.
Інструменти спостережуваності не приймають рішень про управління. Datadog, Langfuse та подібні інструменти відмінно підходять для операційної видимості. Вони не призначені для оцінки того, чи дозволена дія відповідно до конституції управління.
Для вертикально-специфічної реалізації в регульованих галузях див. Управління AI-агентами для фінтех і Відповідність вимогам AI в охороні здоров’я.
Часті запитання
П: Чи є шар підзвітності тим самим, що система безпеки AI?
Системи безпеки запобігають шкідливим вихідним даним. Шари підзвітності застосовують організаційне управління — які дії дозволені, ким, відповідно до яких політик. Обидва важливі; вони вирішують різні проблеми.
П: Чи можна побудувати це власними силами?
Компоненти піддаються розробці. Складність не в початковому складанні, а в постійному обслуговуванні: підтримання конституційних правил в актуальному стані, забезпечення справжнього захисту реєстру доказів від фальсифікації, надійна обробка робочих процесів ескалації.
П: Що означають «конституційні правила» на практиці?
Конституція управління — це формальний документ, читабельний людьми та машинами, що визначає, що агенту дозволено робити. Він включає дозволені класи дій, умови їхньої допустимості, пороги ескалації та історію перевірок кожного правила.
П: Як шар підзвітності співвідноситься з тим audit trail, який я надаю регуляторам?
Реєстр доказів виробляє ваш audit trail. Шар підзвітності без належного реєстру доказів дає вам застосування без доказів. Вам потрібно і те, і інше: застосування в момент виконання та верифіковані докази того, що застосування мало місце.
Микола Ковтун, засновник Infracortex AI Studio. Cortex — наш runtime-шар підзвітності для виробничих AI-агентів. Забронюйте 30-хвилинний дзвінок.
Дивіться також: Чому журнали вашого AI-агента не пройдуть аудит | Чому runtime — це commodity, а управління — це рів (EN)