Час совещания, восемь участников, куча реплик вперемешку. Попробуй потом вспомни, кто что предложил, кто согласился и кто обещал закончить работу к пятнице.
NVIDIA выпустила нейросеть, которая умеет разбирать такие записи. Причём не только превращать речь в текст, но и отмечать говорящих, переводить разговоры и отвечать на вопросы по их содержанию.
28 октября компания опубликовала Nemotron 3.5 Transcribe
— модель с открытыми весами, рассчитанную на обработку аудиозаписей продолжительностью до часа.
Она распознаёт речь на 40 языках, поддерживает перевод с английского и обратно для 31 языка, а на 13 языках умеет разделять реплики разных участников разговора. Одновременно может различать до восьми собеседников.
Например, вместо обычной стенограммы можно запросить текст с указанием говорящих. Или попросить правильно записать медицинские термины, названия препаратов и другие специальные слова.
Модель также умеет отвечать на вопросы вроде «Какие решения приняли на этой встрече?». Правда, эту возможность NVIDIA пока проверяла только на английском. Для русского надёжность таких ответов ещё предстоит оценить.
А вот сам русский язык поддерживается полноценно: распознавание, перевод и разделение говорящих входят в список доступных функций.
В тесте FLEURS модель показала 3,80% ошибок при распознавании русской речи. Это показатель WER — доля пропущенных, неверно распознанных и лишних слов относительно правильной расшифровки.
Есть и приятная новость для тех, кто не хочет отправлять рабочие разговоры чужим облачным сервисам.
Веса Nemotron 3.5 Transcribe можно скачать с Hugging Face и запускать на собственной инфраструктуре. Модель доступна для коммерческого использования по лицензии OpenMDW 1.1.
Но домашней видеокарты может оказаться недостаточно. В документации NVIDIA для одной из конфигураций приведён серверный ускоритель RTX PRO 6000 Blackwell с 96 ГБ памяти. Для разработчиков также подготовлены версии модели с уменьшенной точностью вычислений.
Вместе с ней опубликована Granary v2 — большая коллекция подготовленных данных и инструментов для обучения речевых моделей. Она содержит разметку более 463 тысяч часов записей на 48 языках.
Nemotron 3.5 Transcribe пока рассчитана на обработку готовых аудиозаписей, а не на живой голосовой разговор с ИИ.
Для журналистов, преподавателей, исследователей и компаний такой инструмент может оказаться полезнее очередного голосового чат-бота. Особенно если записи конфиденциальные и обрабатывать их хочется на собственном оборудовании.