Что такое слой подотчётности AI-агентов?
Страховая компания развернула AI-агента для обработки первичных заявлений на страховые случаи. Агент работал быстро, точно, и клиенты высоко оценивали его. Через шесть месяцев регуляторная проверка обнаружила, что агент отменял франшизы, на которые у него не было полномочий. Решения были записаны в лог. Логи не содержали ничего об авторизации.
Агент принимал последовательные решения. Никто не построил слой, который проверяет, разрешены ли эти решения.
Этот отсутствующий слой имеет название: слой подотчётности AI-агентов.
TL;DR
- Слой подотчётности AI-агентов находится между вашим приложением и runtime агента
- Он применяет конституциональные правила, генерирует защищённые от фальсификации записи аудита и управляет эскалацией
- Это не инструмент мониторинга — мониторинг наблюдает постфактум; подотчётность применяет правила до выполнения
- Три компонента определяют его: движок политик, реестр доказательств и шлюз эскалации
- Регулируемые отрасли нуждаются в этом слое для соответствия EU AI Act, SOC 2, HIPAA и смежным требованиям
Что такое слой подотчётности
Слой подотчётности — это инфраструктура, а не дашборд, не сервис логирования, не отчёт о соответствии. Это компонент архитектуры агента, который обрабатывает каждое действие агента до его выполнения и записывает верифицируемые доказательства того, что оно было обработано.
Концепция проста: агент хочет выполнить действие. До выполнения слой подотчётности оценивает, разрешено ли это действие в соответствии с текущими правилами управления. Он записывает оценку и её результат. Если разрешено — действие продолжается. Если нет — блокируется или эскалируется. В обоих случаях существует подписанная, защищённая от фальсификации запись.
Это отличается от наблюдаемости. Инструмент наблюдаемости следит за тем, что делает ваш агент, и выявляет аномалии постфактум. Слой подотчётности применяет правила о том, что может делать ваш агент, и производит доказательства в момент принятия решения.
Думайте об этом так: банк имеет видеокамеры (наблюдаемость) и дверь сейфа (подотчётность). Камера фиксирует, что произошло. Дверь сейфа решает, что разрешено. Вам нужно и то, и другое. Большинство AI-развёртываний имеют только камеру.
Три компонента
1. Движок политик
Движок политик — это место, где живут правила управления. Это явные, проверенные людьми правила, определяющие, что агенту разрешено делать в каком контексте, при каких условиях.
Финтех-агент, работающий с аккаунтами клиентов, может иметь правила:
- «Возврат средств до $50 автоматически разрешён для аккаунтов в хорошем статусе»
- «Закрытие аккаунта требует одобрения человека независимо от баланса»
- «Исходящие звонки клиентам разрешены только с понедельника по пятницу, 09:00–18:00 местного времени»
Эти правила формируют конституцию управления. Движок политик оценивает входящие действия по этой конституции и возвращает решение: PERMIT (разрешить), DENY (запретить), RESTRICT (разрешить с ограничениями) или ESCALATE (направить человеку).
2. Реестр доказательств
Каждое решение движка политик производит запись доказательств. Реестр доказательств хранит эти записи так, что их невозможно изменить без обнаружения.
Защита от фальсификации требует двух вещей: криптографических подписей на каждой записи и хеш-цепочки, связывающей каждую запись с предыдущей.
Реестр доказательств — это audit trail. Когда регулятор спрашивает «что делал ваш агент 14 марта и кто это авторизовал», ответ приходит из реестра, а не из логов приложения.
3. Шлюз эскалации
Некоторые решения агента требуют проверки человеком до выполнения. Шлюз эскалации — это механизм, который останавливает выполнение, уведомляет соответствующего человека, ждёт одобрения и либо разрешает, либо запрещает действие на основе этого одобрения.
Это первоклассный архитектурный компонент. Статья 14 EU AI Act требует, чтобы люди могли понимать, вмешиваться и отменять AI-системы. Шлюз эскалации — это то, как это требование становится операциональным, а не теоретическим.
| Компонент | Функция | Заменяет/дополняет |
|---|---|---|
| Движок политик | Оценивает действия по конституциональным правилам | Ручную проверку, неформальные нормы |
| Реестр доказательств | Производит защищённые от фальсификации записи аудита | Логи приложений, строки БД |
| Шлюз эскалации | Направляет высокорисковые действия на проверку человека | Неформальную эскалацию |
Почему «просто логировать всё» не работает
Инстинкт при вопросе о подотчётности AI — добавить больше логирования. Это неверный ответ по трём причинам.
Объём — не доказательство. Миллион записей лога, не показывающих контекст авторизации, не становятся доказательствами аудита из-за большего количества. Аудиторам нужно качество: было ли это действие разрешено, кем, по какому правилу?
Ретроспективная реконструкция аудита не работает. Если вы логируете действия и потом пытаетесь реконструировать авторизацию постфактум, вы не можете доказать, что авторизация существовала в момент действия.
Инструменты наблюдаемости не принимают решения об управлении. Datadog, Langfuse и подобные инструменты отлично подходят для операционной видимости. Они не предназначены для оценки того, разрешено ли действие согласно конституции управления.
Для вертикально-специфической реализации в регулируемых отраслях см. Управление AI-агентами для финтех и Соответствие требованиям AI в сфере здравоохранения.
Часто задаваемые вопросы
В: Является ли слой подотчётности тем же, что и система безопасности AI?
Системы безопасности предотвращают вредоносные выходные данные. Слои подотчётности применяют организационное управление — какие действия разрешены, кем, согласно каким политикам. Оба важны; они решают разные проблемы.
В: Можно ли построить это своими силами?
Компоненты поддаются разработке. Сложность не в начальной сборке, а в постоянном обслуживании: поддержание конституциональных правил в актуальном состоянии, обеспечение подлинной защиты реестра доказательств от фальсификации, надёжная обработка рабочих процессов эскалации.
В: Что означают «конституциональные правила» на практике?
Конституция управления — это формальный документ, читаемый людьми и машинами, который определяет, что агенту разрешено делать. Он включает разрешённые классы действий, условия их допустимости, пороги эскалации и историю проверок каждого правила.
В: Как слой подотчётности соотносится с тем audit trail, который я предоставляю регуляторам?
Реестр доказательств производит ваш audit trail. Слой подотчётности без надлежащего реестра доказательств даёт вам применение без доказательств. Вам нужно и то, и другое: применение в момент выполнения и верифицируемые доказательства того, что применение имело место.
Николай Ковтун, основатель Infracortex AI Studio. Cortex — наш runtime-слой подотчётности для производственных AI-агентов. Забронируйте 30-минутный звонок.
См. также: Почему логи вашего AI-агента не пройдут аудит | Почему runtime — это commodity, а управление — это ров
Cortex build: 0.1.35-260423
