Що таке шар підзвітності AI-агентів?
Страхова компанія розгорнула AI-агента для обробки первинних заяв на страхові випадки. Агент працював швидко, точно, і клієнти високо оцінювали його. Через шість місяців регуляторна перевірка виявила, що агент скасовував франшизи, на які у нього не було повноважень. Рішення були записані у журнал. Журнали не містили нічого про авторизацію.
Агент приймав послідовні рішення. Ніхто не побудував шар, який перевіряє, чи дозволені ці рішення.
Цей відсутній шар має назву: шар підзвітності AI-агентів.
TL;DR
- Шар підзвітності AI-агентів знаходиться між вашим застосунком і runtime агента
- Він застосовує конституційні правила, генерує захищені від фальсифікації записи аудиту та управляє ескалацією
- Це не інструмент моніторингу — моніторинг спостерігає постфактум; підзвітність застосовує правила до виконання
- Три компоненти визначають його: рушій політик, реєстр доказів і шлюз ескалації
- Регульовані галузі потребують цього шару для відповідності EU AI Act, SOC 2, HIPAA та суміжним вимогам
Що таке шар підзвітності
Шар підзвітності — це інфраструктура, а не дашборд, не сервіс журналювання, не звіт про відповідність. Це компонент архітектури агента, який обробляє кожну дію агента до її виконання і записує верифіковані докази того, що вона була оброблена.
Концепція проста: агент хоче виконати дію. До виконання шар підзвітності оцінює, чи дозволена ця дія відповідно до поточних правил управління. Він записує оцінку та її результат. Якщо дозволено — дія продовжується. Якщо ні — блокується або ескалується. В обох випадках існує підписаний, захищений від фальсифікації запис.
Це відрізняється від спостережуваності. Інструмент спостережуваності стежить за тим, що робить ваш агент, і виявляє аномалії постфактум. Шар підзвітності застосовує правила про те, що може робити ваш агент, і виробляє докази в момент прийняття рішення.
Думайте про це так: банк має відеокамери (спостережуваність) і двері сейфу (підзвітність). Камера фіксує, що відбулося. Двері сейфу вирішують, що дозволено. Вам потрібно і те, і інше. Більшість AI-розгортань мають лише камеру.
Три компоненти
1. Рушій політик
Рушій політик — це місце, де живуть правила управління. Це явні, перевірені людьми правила, що визначають, що агенту дозволено робити в якому контексті, за яких умов.
Фінтех-агент, що працює з акаунтами клієнтів, може мати правила:
- «Повернення коштів до $50 автоматично дозволено для акаунтів у доброму статусі»
- «Закриття акаунту вимагає схвалення людини незалежно від балансу»
- «Вихідні дзвінки клієнтам дозволені лише з понеділка по п’ятницю, 09:00–18:00 місцевого часу»
Ці правила формують конституцію управління. Рушій політик оцінює вхідні дії відповідно до цієї конституції і повертає рішення: PERMIT (дозволити), DENY (заборонити), RESTRICT (дозволити з обмеженнями) або ESCALATE (направити людині).
2. Реєстр доказів
Кожне рішення рушія політик виробляє запис доказів. Реєстр доказів зберігає ці записи так, що їх неможливо змінити без виявлення.
Захист від фальсифікації вимагає двох речей: криптографічних підписів на кожному записі та хеш-ланцюжка, що пов’язує кожен запис з попереднім.
Реєстр доказів — це audit trail. Коли регулятор запитує «що робив ваш агент 14 березня і хто це авторизував», відповідь надходить з реєстру, а не з журналів застосунку.
3. Шлюз ескалації
Деякі рішення агента вимагають перевірки людиною до виконання. Шлюз ескалації — це механізм, який зупиняє виконання, сповіщає відповідну людину, чекає схвалення і або дозволяє, або забороняє дію на основі цього схвалення.
Це першокласний архітектурний компонент. Стаття 14 EU AI Act вимагає, щоб люди могли розуміти, втручатись і скасовувати AI-системи. Шлюз ескалації — це те, як ця вимога стає операційною, а не теоретичною.
| Компонент | Функція | Замінює/доповнює |
|---|---|---|
| Рушій політик | Оцінює дії відповідно до конституційних правил | Ручну перевірку, неформальні норми |
| Реєстр доказів | Виробляє захищені від фальсифікації записи аудиту | Журнали застосунків, рядки БД |
| Шлюз ескалації | Направляє високоризиковані дії на перевірку людиною | Неформальну ескалацію |
Чому «просто журналювати все» не працює
Інстинкт при питанні про підзвітність AI — додати більше журналювання. Це неправильна відповідь з трьох причин.
Обсяг — не доказ. Мільйон записів журналу, що не показують контекст авторизації, не стають доказами аудиту через більшу кількість. Аудиторам потрібна якість: чи була ця дія дозволена, ким, за яким правилом?
Ретроспективна реконструкція аудиту не працює. Якщо ви журналюєте дії і потім намагаєтесь реконструювати авторизацію постфактум, ви не можете довести, що авторизація існувала в момент дії.
Інструменти спостережуваності не приймають рішень про управління. Datadog, Langfuse та подібні інструменти відмінно підходять для операційної видимості. Вони не призначені для оцінки того, чи дозволена дія відповідно до конституції управління.
Для вертикально-специфічної реалізації в регульованих галузях див. Управління AI-агентами для фінтех і Відповідність вимогам AI в охороні здоров’я.
Часті запитання
П: Чи є шар підзвітності тим самим, що система безпеки AI?
Системи безпеки запобігають шкідливим вихідним даним. Шари підзвітності застосовують організаційне управління — які дії дозволені, ким, відповідно до яких політик. Обидва важливі; вони вирішують різні проблеми.
П: Чи можна побудувати це власними силами?
Компоненти піддаються розробці. Складність не в початковому складанні, а в постійному обслуговуванні: підтримання конституційних правил в актуальному стані, забезпечення справжнього захисту реєстру доказів від фальсифікації, надійна обробка робочих процесів ескалації.
П: Що означають «конституційні правила» на практиці?
Конституція управління — це формальний документ, читабельний людьми та машинами, що визначає, що агенту дозволено робити. Він включає дозволені класи дій, умови їхньої допустимості, пороги ескалації та історію перевірок кожного правила.
П: Як шар підзвітності співвідноситься з тим audit trail, який я надаю регуляторам?
Реєстр доказів виробляє ваш audit trail. Шар підзвітності без належного реєстру доказів дає вам застосування без доказів. Вам потрібно і те, і інше: застосування в момент виконання та верифіковані докази того, що застосування мало місце.
Микола Ковтун, засновник Infracortex AI Studio. Cortex — наш runtime-шар підзвітності для виробничих AI-агентів. Забронюйте 30-хвилинний дзвінок.
Дивіться також: Чому журнали вашого AI-агента не пройдуть аудит | Чому runtime — це commodity, а управління — це рів
Cortex build: 0.1.35-260423
