«У нас є нагляд людини». Це твердження з’являється майже в кожній відповіді на вимоги відповідності щодо AI-систем. У більшості випадків це означає: хтось у компанії теоретично може втрутитися, якщо щось піде не так.
Стаття 14 стосується AI-систем високого ризику: їхній дизайн має забезпечувати ефективний нагляд людини під час використання. Обирайте заходи відповідно до ризиків, автономності й контексту та перевіряйте, чи призначені люди справді можуть ними скористатися.
Розрив між «у нас є нагляд» і «ми відповідаємо статті 14» — це місце, де більшість AI-розгортань у регульованих галузях не дотягують.
Коротко про головне
- Стаття 14 вимагає, щоб системи AI високого ризику були розроблені з можливістю ефективного нагляду з боку людини
- Нагляд повинен бути можливим під час роботи — а не лише постфактум
- Особи, що здійснюють нагляд, повинні вміти розуміти, відстежувати, інтерпретувати, втручатись і скасовувати
- Автоматичні рішення з високим ризиком без значущого нагляду людини можуть порушувати статтю 14
- Нагляд за статтею 14 повинен бути задокументований — хто здійснює, яким чином, з якими повноваженнями
Що вимагає стаття 14
Стаття 14 визначає п’ять функціональних вимог до нагляду людини:
- Розуміти та інтерпретувати вихідні дані — система повинна виробляти зрозумілі вихідні дані з інтерпретованим обґрунтуванням
- Відстежувати роботу — поточний моніторинг, а не лише періодична перевірка
- Виявляти аномалії, несправності або несподівану продуктивність — з визначеними базовими лініями
- Втручатись і зупиняти — реальна, а не теоретична здатність
- Скасовувати вихідні дані — до того, як рішення набуває чинності
Що означає «ефективний» нагляд
Ефективний нагляд вимагає:
Доступ у потрібний час. Визначте дії, що потребують попередньої перевірки, та момент, коли втручання ще можливе. Перевірте, чи отримує наглядач сповіщення, інформацію й засоби контролю вчасно для зменшення визначеного ризику.
Інтерпретованих вихідних даних. Перевіряючий, який не може зрозуміти, що зробила AI-система або чому, не може ефективно її контролювати.
Реальних повноважень на скасування. Вбудованих у робочий процес, а не лише технічно можливих.
Визначених ролей нагляду. Хто несе відповідальність за нагляд? За якими рішеннями? В які часові періоди?
Реалізація відповідності статті 14 для AI-агентів
Паттерн проектування: шлюзи нагляду перед виконанням
Перевірка до виконання — практичний варіант, коли наслідки потребують рішення людини заздалегідь: агент пропонує дію, уповноважений перевіряючий оцінює її, а виконання чекає на результат.
Вимоги до реалізації:
- Черга ескалації з чіткими SLA для перевірки людиною
- Інтерпретоване обґрунтування рішення для перевіряючого
- Явна дія схвалення або скасування до продовження виконання
- Повний audit trail, включно з рішенням людини
Паттерн проектування: нагляд після виконання з можливістю скасування
Можливість скасувати дію може допомагати втручанню після виконання, але зворотність і коротке вікно перевірки самі по собі не доводять відповідності статті 14. Оцініть шкоду до виправлення та реальну можливість зупинити систему або змінити її результат.
Паттерн проектування: автоматизований нагляд з ескалацією до людини
Автоматизовані перевірки політик можуть підтримувати нагляд людини у великих потоках. Переглядайте правила, передавайте людині нерозв'язані випадки та тестуйте шлях втручання; ці контроли не замінюють застосовних обов'язків нагляду.
| Тип рішення | Рівень ризику | Рекомендований паттерн нагляду |
|---|---|---|
| Значне, незворотне (схвалення кредиту) | ВИСОКИЙ | Шлюз перед виконанням |
| Значне, але зворотне (комунікація з клієнтом) | СЕРЕДНІЙ | Після виконання з вікном скасування |
| Великообсягне, регульоване політикою | НИЗЬКИЙ-СЕРЕДНІЙ | Автоматизований з ескалацією |
Вимоги до документації
Документ архітектури нагляду — Які рішення вимагають нагляду людини? Який механізм? Хто має повноваження нагляду?
Кваліфікації персоналу нагляду — Стаття 26(2) зобов'язує користувачів систем доручати нагляд людям із необхідними компетентністю, підготовкою, повноваженнями та підтримкою. Задокументуйте вимоги до кожної ролі та перевірте їх на практиці.
Записи подій нагляду — Фіксуйте важливі перевірки, результати та контекст для оцінки втручання. Загальна вимога статті 12 — простежуваність відповідно до призначення; спеціальні поля ідентифікації перевіряючих стосуються категорії віддаленої біометричної ідентифікації Додатку III.
Відстеження частоти скасувань — Нульова частота скасувань може вказувати на номінальний, а не ефективний нагляд.
Часті запитання
П: Чи може процес перевірки людиною, що виконується після AI-рішень, відповідати статті 14?
Оцініть, чи може перевірка запобігати визначеним ризикам або зменшувати їх під час роботи. Вікно виправлення корисне лише за своєчасного й дієвого втручання; саме по собі воно не доводить відповідності й не усуває вже заподіяну шкоду.
П: Яку кваліфікацію повинен мати персонал нагляду?
Компетентність і підготовка визначаються характером системи. Повноваження означають, що у людини є реальна влада скасувати рішення.
П: Чи виконує наша аудиторська команда функцію нагляду людини?
Аудит ретроспективний. Нагляд за статтею 14 операційний — він відбувається під час роботи AI-системи. Вам потрібні операційні ролі нагляду, відмінні від аудиту.
Микола Ковтун, засновник Infracortex AI Studio. Cortex підтримує процеси ескалації, які команди можуть оцінювати як частину дизайну нагляду людини. Забронюйте дзвінок для розробки архітектури нагляду
Дивіться також: EU AI Act Стаття 9: безперервне управління ризиками | EU AI Act Стаття 12: вимоги до журналювання | Що таке шар підзвітності AI-агентів?