Что такое липсинк аватара и как он следует за голосом

Липсинк (lip-sync) аватара — это техника, благодаря которой рот персонажа двигается в такт вашему голосу. Система слушает звук с микрофона, определяет, когда и насколько интенсивно вы говорите, и превращает это в движения рта, а иногда головы и рук. Когда всё сделано хорошо, кажется, что аватар действительно говорит.

В этом руководстве — как это работает без лишних терминов, почему иногда выглядит странно и что сделать, чтобы выглядело лучше.

Основная идея в одном предложении

Ваш голос — звуковая волна. Программа измеряет её много раз в секунду и в зависимости от громкости и типа звука открывает или закрывает рот аватара. Вот и всё. Остальное — доработки.

Три уровня липсинка

Не все системы делают одно и то же. В общих чертах подходов три:

1. По громкости

Самый простой и самый распространённый в реальном времени. Говорите громко — рот открывается шире. Тишина — закрывается. Быстро, работает с любым языком и не требует больших вычислений.

Плюс: почти нет задержки. Ограничение: не отличает «о» от «и»; рот открывается одинаково.

2. По звукам (виземы)

Визема — это форма рта при произнесении группы звуков. «М», «б» и «п» смыкают губы; «а» широко открывает рот; «у» округляет губы. Более продвинутые системы анализируют звук, чтобы понять, какой звук вы произносите, и выбрать подходящую форму рта.

Плюс: выглядит естественнее, особенно на крупных планах. Ограничение: нужно больше вычислений, а фоновый шум или акцент могут сбить систему.

3. По камере

Здесь система не слушает голос, а смотрит на ваше лицо через веб-камеру и копирует реальные движения рта.

Плюс: копирует жесты, улыбки и гримасы. Ограничение: нужен хороший свет, нужно оставаться перед камерой, и компьютер должен тянуть обработку.

Метод	Что нужно	Естественность	Задержка
Громкость	Только микрофон	Базовая	Очень низкая
Виземы	Микрофон и больше вычислений	Высокая	Низкая
Камера	Веб-камера и хороший свет	Очень высокая	Разная

Не только рот: тело тоже говорит

Аватар, который двигает только ртом, выглядит деревянным. Поэтому многие системы добавляют второстепенные движения, связанные с голосом:

Голова: небольшие наклоны во время речи.
Руки: жесты, сопровождающие фразы, как у человека в разговоре.
Моргание: автоматическое и случайное, чтобы не было похоже на куклу.
Дыхание: лёгкое движение груди в покое.

Эти детали важнее, чем кажется. Аватар, который немного жестикулирует, ощущается живым, даже если рот у него простой. В remocast, например, рот и руки аватара следуют за голосом, и этого достаточно, чтобы разговор нескольких персонажей воспринимался как настоящая беседа.

Почему липсинк иногда выглядит плохо

Если аватар странно двигает ртом, почти всегда причина в одном из этого:

Фоновый шум. Вентилятор, улица или соседская собака заставляют рот двигаться, когда вы молчите.
Микрофон слишком далеко. Голос приходит слабым, и рот едва открывается.
Перегруз микрофона. Если вы кричите или слишком близко, рот всё время открыт.
Нестабильная связь, когда аватар смотрят удалённо: звук приходит рывками, и движения тоже.
Эхо в комнате. Отражения растягивают звук, и рот дольше закрывается.

Как улучшить липсинк со своей стороны

Хорошая новость: почти всё решается привычками записи, а не программой.

Придвиньтесь к микрофону. Для настольных микрофонов обычно хорошо работает 10–20 сантиметров. Если это гарнитура, следуйте рекомендациям производителя.
Уменьшите шум в комнате. Закройте окно, выключите вентилятор на время записи и отойдите от холодильника. Если проблема в эхе, вот идеи: как убрать эхо в комнате.
Наденьте наушники. Тогда микрофон не ловит чужие голоса, и аватар не «говорит», когда говорят другие.
Выключайте микрофон, когда молчите в групповом разговоре. Это предотвращает фантомные движения от кашля или клавиатуры.
Говорите в естественном темпе. Чуть более чёткая артикуляция помогает паузам считываться, и рот закрывается между фразами.
Проверьте уровень входа в настройках звука системы. Ни на минимуме, ни на максимуме.

Если хотите осознаннее выбрать оборудование, поможет сравнение USB или XLR-микрофон для подкаста.

Важен ли язык или акцент?

Для липсинка по громкости — нет. Он одинаково работает с любым произношением — московским, уральским или южным, — потому что измеряет только когда и насколько громко звучит голос. Системы на виземах иногда настроены под конкретный язык и с другими могут немного ошибаться, но для большинства повседневных задач разница невелика.

Липсинк в реальном времени и на постпродакшне

Это различие стоит прояснить:

В реальном времени: аватар реагирует, пока вы говорите. Он должен быть быстрым, поэтому жертвует частью точности. Его используют стримы, встречи и подкасты, записываемые вживую.
На постпродакшне: программа анализирует уже записанный звук и тщательно анимирует каждую фонему. Это используют в профессиональной анимации и видеоиграх, где есть время на полировку.

Для разговора с другими людьми важен липсинк в реальном времени. Небольшое отставание рта от голоса почти никто не замечает, если жесты успевают. Если хотите перенести это в видео, посмотрите, как записать подкаст с 3D-аватаром в браузере.

Хотите увидеть, как ваш аватар говорит вашим голосом? Создайте студию бесплатно.

Частые вопросы

Нужна ли для липсинка камера?

Не всегда. Липсинку по голосу нужен только микрофон. Камеру используют системы, копирующие реальную мимику лица, — они точнее, но требовательнее.

Почему аватар двигает ртом, когда я молчу?

Почти всегда это фоновый шум или чужой голос, попадающий в ваш микрофон. Наденьте наушники, отойдите от источников шума и выключайте микрофон, когда не говорите.

Работает ли липсинк с любым языком?

Липсинк по громкости работает с любым языком и акцентом. Системы, которые пытаются распознавать конкретные звуки, могут быть лучше настроены под одни языки, чем под другие.