Перевод речи на другой язык голосом оригинала.
Компания Resemble AI, занимающаяся разработками в области синтеза речи, представила программный продукт Localize. Данный продукт осуществляет локализацию речи с сохранением оригинального голоса. Другими словами, если вы смотрите американский фильм с известным актером, то программа создаст дубляж фильма на другом языке, но с оригинальным голосом того же актера.
Системы синтеза речи работают достаточно давно и качественно, но на сегодняшний день, одна из нерешенных пока проблем — это проблема локализации. Т.е. наличие готовых решений, которые позволяли бы качественно переводить речь с одного языка на другой с сохранением голоса оригинала.
Локализация очень непростая задача для всех создателей контента. Она требует значительного времени и ресурсов. Компания Resemble AI утверждает, что создала программу Localize, построенную на искусственном интеллекте, который автоматически переводит речь на другие языки голосом оригинала. Localize может поддерживать локализацию голосов на разных языках в фильмах, играх, аудиокнигах, корпоративных видео и других форматах. Сохранение голоса оригинала в дубляже фильмов полностью изменит звуковое восприятие кино на иностранных языках.
Возможности применения программы завораживают. Например, Джеймс Бонд при локализации заговорит не голосами актеров дубляжа, а голосом самого Дэниэла Крейга, а каждый персонаж или ведущий фильмов, игр, аудиокниг и видеороликов на популярных интернет-площадках будет разговаривать тем же голосом, что и оригинал, независимо от языка.
На сегодняшний день, как утверждают специалисты, в обычной практике голосовой дубляж занимает около двух месяцев и стоит больших денег. Искусственный интеллект же значительно упрощает эту работу. Программа Localize обучается выражениям, интонациям и тембру оригинала, а затем превращает исходный звук в речь, которая использует традиционные выражения и грамматические структуры выбранного языка. Все это сэкономит деньги и время создателей фильма, которые вынуждены подчас тратить месяцы на поиск подходящих актеров дубляжа.
Помимо индустрии кинопроизводства, разработки компьютерных игр и создания аудиокниг, компания Resemble AI ставит себе задачу использования программы в быстро развивающиеся платформах — YouTube, Shorts и TikTok. Т.о. блогеры, за счет добавления мульти-язычности, смогут увеличить свою аудиторию в несколько раз.
Пока что в программе доступны английский, французский, немецкий, голландский, испанский и итальянский языки. Но разработчики в скором времени обещают добавить японский, корейский и северокитайский языки.