Голосовому ИИ теперь можно указать на ошибку ещё до того, как он откроет рот.
Компания Rime представила Prism
— модель, которая слушает собеседника, готовит ответ и позволяет проверить его текст до озвучивания.
Обычно голосовые помощники либо работают через несколько отдельных систем, превращая речь в текст и обратно, либо обрабатывают звук напрямую. Второй подход помогает сохранить интонации и эмоции собеседника, но разработчикам сложнее контролировать, что именно произнесёт агент.
Rime решила совместить оба подхода.
Prism анализирует голос, а перед произнесением ответа выдаёт его текст. На этом этапе программа компании может проверить каждое слово по установленным правилам и при необходимости изменить ответ.
Например, банковскому помощнику можно запретить обещать клиенту неподтверждённое одобрение кредита. А при записи к врачу — проверить, не собирается ли агент сообщить лишнюю информацию.
При этом Prism учитывает интонацию собеседника и умеет обращаться к внешним инструментам: получать данные, выполнять действия и продолжать разговор.
Скорость тоже обещают приличную. В испытаниях самой Rime модель начинала говорить через 0,57 секунды. В тесте голосовых агентов τ-Voice она набрала 56,6 балла, опередив ряд голосовых моделей OpenAI и Google. Оба результата получены компанией самостоятельно, а не в ходе независимой оценки Prism.
Модель рассчитана прежде всего на корпоративных клиентов. Её можно размещать на собственных серверах, а также дообучать на разговорах с клиентами.
Prism уже предлагают попробовать через сайт Rime.