Японец говорит по-японски. Вы отвечаете по-русски. И оба прекрасно друг друга понимаете. Никто не просит повторить помедленнее, не лезет в Google Переводчик и не пытается объяснить сложную мысль тремя английскими словами из школьной программы.
21 октября ElevenLabs представила Eleven Realtime Translation
— систему, которая переводит человеческую речь прямо во время разговора. Причём в обе стороны: каждый говорит на родном языке, а слышит собеседника уже в переводе.
Работает всё на голосовой модели Eleven v4 Turbo, которая поддерживает более 90 языков и умеет автоматически определять, на каком из них заговорил человек.
Главная задача — успеть за живой беседой. Переводчик, который выдаёт ответ спустя полминуты, хорош разве что для тренировки терпения.
Но и спешить нельзя. Человек ещё не закончил предложение, а ИИ уже перевёл первую половину и внезапно обнаружил, что вторая полностью меняет смысл.
Поэтому разработчикам дали возможность выбирать, что важнее: скорость или точность. Для быстрой болтовни перевод может начинаться раньше. Для обсуждения банковских платежей или страховых выплат лучше немного подождать, зато не перепутать условия сделки.
Точную задержку в миллисекундах ElevenLabs пока не раскрывает.
Можно даже выбрать, каким голосом заговорит собеседник
Перевод звучит не стандартным голосом бездушного автоответчика. ElevenLabs предлагает библиотеку из 17 500 с лишним голосов. Можно выбрать подходящий или создать клон собственного.
Выбранное звучание сохраняется на протяжении разговора, даже если собеседники переключаются между языками.
Правда, ИИ пока не умеет безупречно переносить настоящий голос человека с одного языка на другой. Он озвучивает перевод выбранным синтетическим голосом или клоном, который лишь приближённо воспроизводит оригинал.
Заодно система выдаёт текстовую расшифровку и перевод. Можно не только услышать сказанное, но и сохранить запись разговора в текстовом виде.
Немцы уже примеряют переводчик к телефону
Немецкий оператор Deutsche Telekom использует разработку ElevenLabs для создания новых функций своего телефонного помощника Magenta AI Call Assistant.
Задумка простая: человек звонит за границу, говорит как привык, а оператор связи берёт перевод на себя. Собеседнику не придётся устанавливать отдельное приложение или искать переводчика — если его оператор внедрит такую возможность.
Та же технология пригодится службам поддержки. Сегодня клиенту приходится искать сотрудника, который знает его язык. Завтра один оператор сможет обслуживать людей из разных стран, даже не владея их языками.
Впрочем, с завтрашним днём пока придётся повременить.
Eleven Realtime Translation находится в альфа-тестировании и доступна только корпоративным клиентам через ElevenAPI. Общедоступного приложения нет, цену ElevenLabs не называет. Deutsche Telekom тоже пока не объявила дату запуска перевода для обычных абонентов.
Так что японскому знакомому пока придётся потерпеть ваш английский.
Зато перспектива уже вырисовывается: международные разговоры могут стать гораздо проще. И работодатели наверняка оценят это по-своему.
Плохие новости для сотрудников: скоро даже незнание английского перестанет спасать от международных рабочих созвонов.