Даже самая умная нейросеть мало поможет, если нужная информация затерялась где-нибудь на двадцатой странице PDF. Особенно когда это не текст, а таблица, схема или график, который обычный поиск просто пропускает.
21 октября NVIDIA представила Nemotron 3.5 Retriever — семейство открытых ИИ-моделей, предназначенных для поиска и извлечения информации из документов. Их можно встроить в корпоративные поисковые системы и ИИ-агентов, работающих с большими архивами.
В семействе пять моделей, выполняющих три разные задачи.
Parse разбирает документы: распознаёт текст, таблицы, диаграммы и их расположение на странице, превращая содержимое PDF в структурированные данные.
Embed помогает находить нужные материалы по смыслу запроса, даже если информация находится внутри изображения. Для этого NVIDIA выпустила варианты разного размера, включая компактную модель, оптимизированную для более быстрого поиска.
Rerank проверяет найденные результаты и определяет, какие из них действительно отвечают на вопрос. Например, если агент ищет сроки поставки оборудования, ему нужно получить соответствующую таблицу, а не десяток документов, где просто упоминается название производителя.
Именно последняя модель дала любопытный результат в испытаниях NVIDIA.
Компания сравнивала работу ИИ-агентов с разными системами поиска, сохраняя неизменными основную языковую модель, набор задач и доступные инструменты. Добавление Rerank улучшило качество поиска и одновременно сократило количество токенов, потраченных агентом на выполнение задания, примерно на 13–14%.
Причина проста: когда нужные сведения находятся быстрее, агенту реже приходится повторять запросы, просматривать неподходящие документы и тратить контекст на лишнюю информацию.
Результаты получены во внутренних испытаниях NVIDIA. Снижение расхода токенов основной модели не означает автоматически такую же экономию на всех вычислениях: дополнительная проверка найденных документов тоже требует ресурсов.
Разработчики опубликовали веса моделей на Hugging Face. Их можно самостоятельно развёртывать и адаптировать под собственные документы, а также использовать через NVIDIA NIM и облачных партнёров.
Это инструменты для разработчиков, а не отдельный чат-бот для обычных пользователей. Зато теперь можно собрать систему, в которой ИИ сначала проверит, правильно ли нашёл факты, и только потом примется делать из них выводы.