В компании Block Джека Дорси решили проверить, можно ли научить нейросеть разговаривать, если не дать ей прочитать ни одной строчки.
23 октября разработчики представили Dessa
— экспериментальную голосовую модель, обученную с нуля исключительно на записях человеческих разговоров. Никаких текстовых расшифровок и заранее обученных языковых моделей.
Dessa училась понимать не только слова, но и интонации, паузы, смех и перебивания. Она работает непосредственно со звуком и умеет одновременно слушать и говорить.
В опубликованных демонстрациях нейросеть поддакивает собеседнику, смеётся посреди фразы и повышает голос, когда её об этом просят.
Журналист The Verge заметил, что в одном разговоре Dessa зачем-то назвала собеседника «Роналдо». А обсуждение фильмов Кристофера Нолана неожиданно свернула к картинам совсем другого режиссёра.
Для работы Dessa достаточно MacBook Pro с чипом M4 Max или мощнее. Модель запускается локально, без обращения к облачным серверам.
Большинство привычных голосовых помощников используют текст на каком-либо этапе обработки речи. Из-за этого теряется часть информации: одна и та же фраза с разной интонацией может означать совершенно разные вещи. Dessa пытается сохранить эти нюансы, работая непосредственно со звуком.
Пока Block опубликовала только записи разговоров. Скачать модель или подключиться к ней через API нельзя.
Ранний доступ получит небольшая группа исследователей безопасности ИИ.