В демонстрации Mistral женщина просит голосового помощника записать её к врачу. ИИ находит документ по продиктованному номеру, выясняет, к какому специалисту нужно попасть, предлагает свободное время и после согласия пациентки подтверждает запись.
Никаких «обратитесь к администратору» и «пожалуйста, посетите наш сайт». В показанном сценарии помощник доводит дело до конца.
20 октября французская Mistral AI представила Voxtral 3 — новое семейство речевых моделей и инструменты для создания таких голосовых агентов.
Главная задумка состоит в том, чтобы связать разговор с реальными действиями. Помощник должен не только понимать человека и отвечать ему, но и обращаться к информационным системам, получать необходимые сведения и выполнять поручения.
Что происходит внутри
Voxtral 3 — не одна огромная нейросеть, которая делает всё сразу. Mistral собрала несколько специализированных моделей в общий процесс.
Одна распознаёт речь и определяет, когда собеседник закончил говорить. Другая, например Mistral Small, разбирается в просьбе, принимает решения и вызывает необходимые инструменты. Третья произносит ответ.
Все части работают в едином потоке с минимальными задержками. Разговор можно прервать на полуслове: агент замолчит и начнёт слушать новое сообщение, вместо того чтобы дочитывать заготовленную фразу.
Разработчики предусмотрели подключение к поиску, внутренним документам и рабочим системам компаний. Например, голосовой помощник может проверить счёт, найти нужную информацию или оформить запись на приём.
Разумеется, само наличие Voxtral 3 не даёт нейросети доступа к расписанию любой больницы. Чтобы выполнить подобное поручение, разработчику придётся подключить агент к соответствующей системе и настроить разрешённые действия. Сценарий с записью к врачу пока показан в демонстрации Mistral.
И голос тоже прокачали
Новые модели распознавания поддерживают более 50 языков, умеют различать участников разговора и учитывать специальную лексику. Например, можно заранее сообщить системе названия лекарств или фамилии клиентов, чтобы уменьшить число ошибок при расшифровке.
Для озвучивания Mistral заявляет поддержку более 35 языков и 50 региональных вариантов речи. Голос может менять темп, интонацию и эмоциональную окраску в зависимости от содержания разговора.
Предусмотрено и создание индивидуального голоса по образцу записи. Для профессиональной адаптации, по данным компании, достаточно примерно 30 минут исходного аудио.
Сколько стоит и кому доступно
Voxtral 3 уже можно использовать через API Mistral — интерфейс для подключения моделей к приложениям.
Цены зависят от задачи:
Расшифровка записей — от $0,0035 за минуту. Распознавание речи в реальном времени — $0,008 за минуту. Полноценный голосовой агент с Mistral Small 4 для рассуждений — $0,04 за минуту. Агент с другой моделью рассуждений — $0,08 за минуту.
Отдельная генерация речи тарифицируется по количеству символов.
Попробовать речевые возможности и голосовых агентов можно в Mistral Studio. Компания предлагает европейские, американские и глобальные серверы API. Для размещения системы на собственной инфраструктуре потребуется отдельно связаться с Mistral.
Пока Voxtral 3 предназначена прежде всего для разработчиков и компаний. Готового универсального секретаря, которого любой желающий может попросить записать его к врачу, Mistral не выпустила.
Но необходимый инструментарий теперь доступен. А качество будущего голосового помощника будет зависеть уже не только от того, насколько приятно он разговаривает, но и от того, что ему действительно разрешено делать.