24 октября Ollama добавила поддержку речевых моделей.
Первой стала Phonon от компании Gradium — компактная нейросеть, превращающая текст в естественно звучащую речь.
Работает это так: обычная языковая модель генерирует ответ, а Phonon получает его текст и сразу начинает озвучивать. Дожидаться завершения всего сообщения не требуется — воспроизведение может начаться уже после первого предложения.
Всё выполняется локально, без обязательного обращения к облачному сервису.
Phonon поддерживает английский, французский, немецкий, испанский и португальский языки. Можно выбирать разные голоса, сохранять результат в аудиофайл или подключать синтез речи к собственным приложениям через API.
Для разработчиков предусмотрена совместимость с речевым интерфейсом OpenAI. Поэтому приложения, уже умеющие обращаться к такому API, можно адаптировать для работы с локальной моделью.
Ollama также измерила скорость работы. На MacBook Pro с процессором M5 Max её реализация Phonon оказалась на 35% быстрее собственного движка Gradium. Это результат конкретного теста, а не обещание такой же скорости на любом компьютере.
Пока голосовая функция работает только на Mac с процессорами Apple Silicon. Нужна Ollama версии 0.40.11 или новее. Поддержку Windows и Linux разработчики обещают добавить позже.
Есть ограничение и по лицензиям. Базовая англоязычная модель Phonon 31M распространяется под Apache 2.0, а версии 40M, включая многоязычную, — под CC BY-NC 4.0, которая запрещает коммерческое использование без отдельного разрешения.
И ещё: Phonon умеет произносить текст, но не распознавать речь пользователя. Для полноценного голосового диалога понадобится отдельная система, которая будет слушать собеседника.