Отправлять запись рабочего совещания на чужой сервер, чтобы получить расшифровку, никому не хочется. Особенно если на записи обсуждают зарплаты, контракты или очередной гениальный план руководства.
IBM предлагает обойтись собственным компьютером.
21 октября компания представила Granite Speech 5.0
— обновлённое семейство голосовых моделей, которые можно скачать и запускать локально. Они распознают речь, некоторые умеют переводить разговоры, а компактная версия рассчитана даже на пользовательские устройства.
Заодно IBM сделала серьёзный шаг навстречу людям, которые не хотят платить облачным сервисам за каждую минуту чужой болтовни.
Два миллиарда параметров против человеческого акцента
Главная новинка — Granite Speech 5.0 2B. У неё два миллиарда параметров и вполне конкретная работа: превращать речь в текст и переводить разговоры.
Модель понимает английский, французский, немецкий, испанский, португальский и японский языки. Перевод работает между английским и этими языками в обе стороны, а также с английского на итальянский и китайский.
IBM отдельно поработала над распознаванием речи в шумных помещениях, при эхо и с удалённого микрофона. По собственным тестам компании, новая модель справляется с такими условиями лучше предшественницы.
Есть и функция для тех, кто регулярно мучает стенографистов названиями продукции и профессиональным жаргоном.
Модели можно передать список из 2000 специальных терминов, чтобы она учитывала их при распознавании и переводе.
Названия лекарств, технические аббревиатуры, фамилии сотрудников — всё то, что обычная расшифровка порой превращает в увлекательный набор случайных слов.
Причём переобучать модель ради этого не нужно. Список передаётся непосредственно при обработке записи.
Маленький стенографист с большими амбициями
Для тех, кому важнее скорость, IBM обновила Granite Speech 5.0 Turbo CTC.
У неё всего 470 миллионов параметров. По меркам современных нейросетей — почти карманный вариант.
Модель предназначена для быстрого распознавания речи на ноутбуках, смартфонах и других устройствах. Она поддерживает семь языков, включая итальянский, и сама расставляет знаки препинания.
В тестах IBM обновлённая Turbo CTC оказалась примерно в 1,6 раза быстрее предыдущей версии. Ускорение получили за счёт оптимизации вычислений. Это результат конкретного тестирования, а не обещание одинаковой скорости на любом ноутбуке.
Есть и третье обновление — Granite Speech 4.1 2B Plus. Эту модель подтянули для работы с длинными разговорами, где важно понимать, кто именно говорил и в какой момент.
То есть если несколько человек на совещании одновременно пообещали закончить проект к пятнице, программе станет проще разобраться, кому потом предъявлять претензии.
А можно просто скачать?
Веса моделей уже опубликованы на Hugging Face под лицензией Apache 2.0, допускающей в том числе коммерческое использование.
Большую Granite Speech 5.0 2B можно запускать через Transformers, llama.cpp, vLLM и MLX на компьютерах Apple Silicon. Для компактной Turbo CTC есть поддержка Transformers и MLX.
Это пока инструменты для разработчиков, а не готовое приложение с кнопкой «Записать совещание». Потребуются настройка и подходящее оборудование. Для длинных записей IBM рекомендует разбивать аудио на фрагменты примерно по две минуты.
Зато при локальной обработке отправлять сам разговор на сервер IBM необязательно.
И теперь плохие новости для русскоязычных пользователей.
Русского языка нет в официальном списке поддерживаемых ни у большой модели, ни у Turbo CTC. IBM пока не обещает на нём корректного распознавания.