Исследователи компании Microsoft представили одну из своих последних разработок, модель искусственного интеллекта (ИИ) под названием VALL-E, которая предназначена для преобразования текста в живую речь. Отметим, что это не первая модель такого рода, но если алгоритму Lyrebird 2017, к примеру, разработанному в университете Монреаля, требовалась целая минута записи для анализа, то модели VALL-E достаточно всего трех секунд, после чего она начинает подражать речи конкретного человека, включая акустическую окраску и эмоциональный тон.
Модель VALL-E была натренирована на 60 тысячах часах записи речи на английском языке, главным образом на аудиокнигах, начитанных разными людьми. Это дало свой результат, модель воспроизводит предложения, звучащие совершенно естественно. Единственным недостатком модели является то, что модель дает сбои в звучании, когда в предложениях встречаются странные места с точки зрения синтаксиса или пунктуации.
Модели VALL-E также дается очень хорошо воссоздание условий аудиосреды исходного образца. Если этот образец, к примеру, был записан с телефона, то и вся дальнейшая синтезированная речь будет “как из телефона”. Также модель способна воспроизводить тонкости речи, похожие образцы, записанные американцем или британцем, дадут совершенно различные результаты.
Также модель VALL-E способна придавать речи эмоциональный окрас. Только для этого ей необходимо предоставить несколько образцов речи, помеченных, как сердитый, сонный, удивленный, чувствующий отвращение и т.п. Чем больше таких образцов будет предоставлено, тем более эмоциональной и естественной становится синтезированная речь.
Последствия появления таких технологий весьма ясны. С положительной стороны, вы можете получить озвученный голосом известного актера список покупок, находясь в супермаркете, или ваш телефон будет начитывать аудиокнигу подходящим для ее содержимого голосом, или даже несколькими голосами.
Но с отрицательной стороны все выглядит намного ужасней. Представьте себе мошенника, получившего образец вашего голоса, который потом звонит вашим ближним родственникам. Также при помощи данной технологии возможен обход систем голосовой идентификации, а фальсифицированная запись выступления какого-либо известного политика может вызвать сокрушительный крах его карьеры.
И в заключении следует отметить, что все мы в последнее время видим, что системы искусственного интеллекта типа DALL-E, ChatGPT и другие deepfake-технологии начинают перемещаться из лабораторий в реальный мир. И эти изменения, как обычно, приносят одновременно массу новых возможностей и новых рисков. Но, надо надеяться, что упомянутые выше риски не столь значимы, как говорится, клин клином вышибают, и распознать фальсифицированную речь сможет подобная и специально натренированная модель искусственного интеллекта.
