- Определите вопросыВыберите конкретную тему и ожидаемые ответы.
- Уточните источникиОбозначьте ответственных, действующие версии и приоритеты.
- Проверьте распознаваниеСравните сканы и таблицы с оригиналами.
- Проверьте ответыСверьте доказательства, поведение без источников и границы доступа.
Начните с вопроса, а не всего архива
Определите, о чем люди будут спрашивать: как подключить поставщика, выполнить процедуру обслуживания или найти утвержденные правила. Это поможет собрать начальный набор документов и понять, помогает ли ответ выполнить работу.
Большое количество файлов не означает неизбежных ошибок, но усложняет определение границ темы, противоречий и прав доступа. В первую поисковую подборку включите нужные материалы. Старые версии можно оставить для исторических вопросов, если их статус понятен.
- Запишите вопросы, на которые должна отвечать первая версия.
Обозначьте действующую версию
Назначьте ответственного за каждый документ и укажите версию, статус утверждения и дату вступления в силу, где это уместно. Объясните, какой источник имеет приоритет при противоречии. Слово 'финальный' в названии файла этого не решает.
Договоритесь, кто обновляет подборку после изменения правил и как отмененные материалы помечаются или исключаются из ответов о текущих процедурах. Поисковая система не может сама решить, какую из несогласованных инструкций компания считает действующей.
- Сделайте ответственность за содержание и обновление видимой.
Проверьте, что система прочитала
Цифровой текст, сканы, таблицы и схемы требуют разных способов обработки. OCR распознает текст на сканах, а мультимодальные инструменты могут анализировать изображения, но ни один из этих подходов не гарантирует точности. Проверяйте типичные файлы, а не только их форматы.
Сравните извлеченное содержание с оригиналом. Проверьте заголовки столбцов, связи строк, единицы измерения, примечания и объединенные ячейки. В сканах обратите внимание на нечеткий текст и повернутые страницы. Сохраните структуру, без которой таблицу можно прочитать неправильно.
- Включите в тест сложные части ваших рабочих документов.
Проверяйте ответы вместе с доступом
Пользователь должен получать информацию только из разрешенных ему источников. Проверьте эту границу в поиске, ответах, ссылках и кешированных результатах. Добавьте случай, когда у пользователя нет доступа к нужному документу.
Ссылка должна позволять найти источник: название документа или адрес, а также страница, раздел или ячейка, если доступны. Проверьте, подтверждает ли указанный фрагмент ответ. Задайте вопросы с известным ответом, противоречивыми версиями и без источника. Если подтверждения нет, система должна сообщить об этом, а не выдумывать инструкцию.
- Перед более широким использованием попросите владельца документов проверить ответы.
Практический следующий шаг
Выберите одну тему и ответственного, соберите действующие документы и небольшой набор типичных вопросов для совместной проверки.
Читайте также
Сделайте документ пригодным для чтения
Проверьте, извлекается ли текст из PDF и сохраняется ли структура таблиц. Скану может потребоваться распознавание, а сложной таблице — отдельное представление с заголовками колонок. Просмотрите полученный текст глазами: наличие символов в файле еще не означает, что цена, единица измерения и примечание остались связаны воедино.
Детали для внедрения
Заголовок раздела, название продукта и условия применения должны быть понятны без прочтения всего архива. Не отрывайте исключение от правила. Для длинных документов задайте границы фрагментов так, чтобы ответ мог ссылаться на конкретный раздел и открывать его человеку.
Как это работает
Один из возможных сценариев
Вопрос
Сотрудник формулирует задачу своими словами.
Нужный документ
Поиск находит материал, доступный этому сотруднику.
Ответ с источником
Можно открыть оригинал и проверить контекст.
Установите границы доступа к поиску
Право видеть ответ не должно быть шире права читать его источник. Проверяйте ограничения во время поиска, а не просто скрывайте ссылки после генерации. В пилоте необходимы запросы от разных ролей, включая попытку найти документ без разрешения.
Детали для внедрения
Текст документа — это материал для ответа, а не команда ассистенту изменить правила. OWASP относит prompt injection к рискам LLM-приложений. Практический вывод для пилота: не позволяйте произвольному тексту из источника самостоятельно запускать действия или раскрывать новые данные.
Подготовьте вопросы с ожидаемыми источниками
Соберите реальные вопросы команды и отметьте документ или раздел, подтверждающий ответ. Добавьте вопросы с неоднозначной формулировкой, устаревшую версию правила и вопрос, ответа на который нет. Последний случай проверяет, умеет ли система честно отказаться от догадок.
Детали для внедрения
Оценивайте раздельно: найден ли правильный фрагмент, соответствует ли ему ответ, открывается ли ссылка и соблюден ли доступ. Красивая формулировка из неверного документа — это ошибка. Один общий процент без структуры выборки скроет причину.
Договоритесь, как обновляются знания
Определите, кто утверждает новую версию и когда предыдущая перестает использоваться в ответах. Если источник недоступен или синхронизация задерживается, пользователь должен видеть соответствующий статус. Негласное использование старой инструкции может быть хуже отсутствия ответа.
Детали для внедрения
Перед передачей документов согласуйте, где хранятся оригиналы, какие части передаются внешней модели, сколько хранятся журналы и кто имеет доступ. Не называйте решение полностью локальным лишь потому, что файлы лежат на вашем сервере: путь запроса и обработки нужно проверять отдельно.
Что входит в предметный первый пилот
Объем можно сформулировать как один набор документов, согласованные роли, контрольные вопросы и экран ответа с источниками. Результат пилота — отчет о конкретных правильных и неправильных ответах, а также решение, что исправлять дальше. Это полезнее, чем демонстрация одних лишь удачных запросов.
Детали для внедрения
Если главная проблема — противоречивые документы, следующим шагом будет работа с их владельцами. Если источники упорядочены, но поиск пропускает нужное, можно улучшать индексацию и проверять ту же контрольную выборку.