Проверка вызовов инструментов должна устанавливать больше, чем сумму счёта API. Проверьте, связан ли каждый запрос данных с заданием агента и входит ли в одобренный объём доступа.
Для проверки контрактов свяжите запрос реестра с соответствующим делом и документированной целью. Успешный ответ API не доказывает, что запрос был авторизован.
Храните решение о разрешении вместе с записью исполнения, чтобы проверяющий мог оценить тогдашние полномочия. Восстановление цели позднее само по себе не доказывает существования предварительной авторизации.
Коротко о главном
- Неотслеживаемые вызовы инструментов AI-агентов создают три категории скрытых затрат: финансовые, комплаенс-связанные и ответственность
- Затраты на расследование и проверку отличаются от счёта API и зависят от инцидента и имеющихся записей
- Безопасность вызовов инструментов требует шлюзов авторизации, а не просто ограничений скорости
- Каждый вызов инструмента агентом должен отвечать на вопрос: было ли это разрешено, кем, с какой целью?
- Для систем высокого риска статья 12 требует журналирования значимых событий с прослеживаемостью по назначению
Три категории скрытых затрат
Категория 1: Финансовые (видимые затраты)
Большинство команд обнаруживают неотслеживаемые вызовы инструментов через счета. Агент с доступом к поисковым API, сервисам обогащения данных или внешним базам данных может генерировать удивительно большие счета API, когда решает, что большой контекст полезен.
Это видимые затраты — они проявляются в счетах. Команды обычно решают это ограничениями скорости. Ограничения помогают. Они не решают основную проблему.
Категория 2: Комплаенс (невидимые затраты)
Счёт API измеряет использование, а проверка соответствия выясняет, какие данные получены, с какой целью и по чьему разрешению. Планируйте операционный мониторинг и работу по проверке сомнительного доступа.
Правила обработки данных зависят от юрисдикции, роли организации и конкретного доступа. Для HIPAA сначала установите статус covered entity или business associate; наличие медицинской информации само по себе не определяет применимость.
Категория 3: Ответственность (отложенные затраты)
Ответственность материализуется, когда вызовы инструментов агента способствовали решению, нанёсшему вред, а доказательная цепочка отсутствует.
Что на самом деле означает безопасность вызовов инструментов
Ограничения скорости и лимиты расходов решают финансовые риски. Они не решают безопасность AI agent tool call в значимом смысле.
Безопасность вызовов инструментов AI-агентов имеет четыре измерения:
| Измерение | Вопрос | Распространённый разрыв |
|---|---|---|
| Авторизация | Был ли этот вызов разрешён политикой? | У большинства команд нет формальной политики |
| Объём | Входит ли этот вызов в заявленные полномочия агента? | Доступ к инструментам часто шире необходимого |
| Доказательства | Есть ли защищённая от фальсификации запись вызова с входными данными? | Логи фиксируют результаты, не авторизацию |
| Минимизация | Был ли это минимальный необходимый доступ к данным? | Агенты тяготеют к максимальному контексту |
Почему агенты избыточно вызывают инструменты
AI-агенты обучены собирать контекст перед действием. Больше контекста обычно даёт лучшие результаты. Без ограничений агент, оптимизирующий качество задачи, будет искать столько контекста, сколько позволяют доступные инструменты.
Это не дефект модели — это рациональная оптимизация при отсутствии ограничений управления. Ограничение — обращаться только к данным по активным делам с задокументированной целью — должно быть навязано извне.
Шлюзы авторизации правильно решают это. Ограничение скорости замедляет проблему. Шлюз авторизации останавливает несанкционированный доступ до его совершения.
Практическая архитектура контроля
Минимальный необходимый набор контролей для безопасности вызовов инструментов:
- Инвентаризация доступа к инструментам — Знайте, к каким инструментам имеет доступ каждый агент.
- Правила авторизации по каждому инструменту — Каждый инструмент должен иметь явные правила: при каких условиях он разрешён?
- Оценка до вызова — До каждого вызова инструмента слой управления оценивает вызов по правилам авторизации. PERMIT, DENY или ESCALATE — синхронно.
- Подписанные записи вызовов инструментов — Каждый разрешённый вызов должен производить подписанную запись доказательств.
- Базовая линия аномалий — Знайте, как выглядит нормальный объём вызовов инструментов для каждого агента.
Часто задаваемые вопросы
В: Покрывает ли статья 12 EU AI Act вызовы инструментов?
События инструментов могут быть значимыми для прослеживаемости системы высокого риска по статье 12. Выбирайте контекст для мониторинга рисков и работы; статья не требует универсально хранить каждый результат инструмента или полное содержимое входов. Специальные минимальные поля входных данных относятся к категории дистанционной биометрической идентификации Приложения III.
В: Мы используем managed agent platform. Разве она не обрабатывает логирование вызовов инструментов?
Managed-платформы обычно логируют, что вызовы инструментов произошли. Они не логируют контекст авторизации, контекст цели или доказательства минимизации данных. Это требует вашего слоя управления.
В: Как обрабатывать вызовы инструментов, чувствительные ко времени?
Измеряйте задержку авторизации в реальном процессе. Предварительная авторизация может уменьшить повторные проверки, но разрешение должно быть ограничено заданием, объёмом и сроком действия и пересматриваться при изменении контекста или политики.
Николай Ковтун, основатель Infracortex AI Studio. Cortex добавляет предварительную оценку авторизации и подписанные записи доказательств к вызовам инструментов AI-агентов. Забронируйте звонок.
См. также: Что такое слой подотчётности AI-агентов? | EU AI Act Статья 12: требования к логированию