O lip sync de um avatar é a técnica que faz a boca do personagem se mexer no ritmo da sua voz. O sistema escuta o áudio do seu microfone, detecta quando você fala e com que intensidade, e transforma isso em movimentos da boca e, às vezes, também da cabeça e das mãos. Quando é bem feito, o avatar parece falar de verdade.
Neste guia eu explico como funciona sem tecniquês, por que às vezes fica estranho e o que você pode fazer para melhorar o resultado.
A ideia básica em uma frase
A sua voz é uma onda sonora. O programa mede essa onda muitas vezes por segundo e, de acordo com o volume e o tipo de som, abre ou fecha a boca do avatar. É só isso. O resto são refinamentos.
Os três níveis de lip sync
Nem todo sistema faz a mesma coisa. Em linhas gerais, existem três abordagens:
1. Por volume
A mais simples e a mais comum em tempo real. Se você fala alto, a boca abre mais. Se há silêncio, ela fecha. É rápida, funciona com qualquer idioma e não exige muito processamento.
Vantagem: quase não tem atraso. Limitação: não diferencia um “o” de um “i”; a boca abre do mesmo jeito.
2. Por sons (visemas)
Um visema é o formato que a boca assume ao pronunciar um grupo de sons. O “m”, o “b” e o “p” fecham os lábios; o “a” abre bastante; o “u” arredonda. Os sistemas mais avançados analisam o áudio para estimar que som você está fazendo e escolhem o formato de boca correspondente.
Vantagem: fica mais natural, principalmente em close. Limitação: exige mais processamento e pode se confundir com ruído de fundo ou sotaques.
3. Por câmera
Aqui a voz não é escutada: a webcam observa o seu rosto e copia os movimentos reais da sua boca.
Vantagem: copia gestos, sorrisos e caretas. Limitação: você precisa de boa luz, ficar de frente para a câmera e de um computador que aguente o processamento.
| Método | O que precisa | Naturalidade | Atraso |
|---|---|---|---|
| Volume | Só microfone | Básica | Muito baixo |
| Visemas | Microfone e mais processamento | Alta | Baixo |
| Câmera | Webcam e boa luz | Muito alta | Variável |
Mais do que a boca: o corpo também fala
Um avatar que só mexe a boca parece duro. Por isso muitos sistemas somam movimentos secundários ligados à voz:
- Cabeça: pequenas inclinações enquanto você fala.
- Mãos: gestos que acompanham as frases, como uma pessoa faria numa conversa.
- Piscadas: automáticas e aleatórias, para não parecer um boneco.
- Respiração: um movimento leve do peito em repouso.
Esses detalhes pesam mais do que parece. Um avatar que gesticula um pouco parece vivo, mesmo que a boca seja simples. No remocast, por exemplo, a boca e as mãos do avatar acompanham a sua voz, e isso basta para que uma conversa entre vários personagens pareça um bate-papo de verdade.
Por que o lip sync às vezes fica ruim
Se o seu avatar mexe a boca de um jeito estranho, quase sempre é por um destes motivos:
- Ruído de fundo. O ventilador, a rua ou o cachorro do vizinho fazem a boca se mexer sem você falar.
- Microfone muito longe. A voz chega fraca e a boca mal abre.
- Microfone saturado. Se você grita ou está perto demais, a boca fica aberta o tempo todo.
- Conexão instável quando outras pessoas veem o avatar remotamente: o áudio chega aos trancos e o movimento também.
- Eco no ambiente. O reflexo da voz prolonga o som e a boca demora para fechar.
Como melhorar o lip sync do seu lado
A boa notícia: quase tudo se resolve com hábitos de gravação, não com software.
- Chegue mais perto do microfone. Entre 10 e 20 centímetros costuma dar bom resultado com microfones de mesa. Se for headset, siga as orientações do fabricante.
- Diminua o ruído do cômodo. Feche a janela, desligue o ventilador enquanto grava e fique longe da geladeira. Se o problema for eco, aqui vão ideias: como reduzir o eco de um cômodo.
- Use fones de ouvido. Assim o seu microfone não capta a voz dos outros e o seu avatar não “fala” quando outra pessoa fala.
- Silencie o microfone quando não estiver falando em conversas com várias pessoas. Isso evita movimentos fantasmas por tosse ou teclado.
- Fale num ritmo natural. Articular um pouco mais ajuda as pausas a ficarem claras e a boca a fechar entre as frases.
- Confira o nível de entrada nas configurações de som do seu sistema. Nem no mínimo nem no máximo.
Se você quer escolher melhor o seu equipamento, a comparação de microfone USB ou XLR para podcast ajuda a decidir.
O idioma ou o sotaque importam?
Para o lip sync por volume, não. Funciona igual com sotaque carioca, paulistano, nordestino ou gaúcho, porque ele só mede quando e quanto a sua voz soa. Os sistemas por visemas às vezes são ajustados para um idioma específico e podem falhar um pouco com outros, mas para a maioria dos usos casuais a diferença não é grave.
Lip sync ao vivo ou na pós-produção
Vale esclarecer essa diferença:
- Ao vivo: o avatar reage enquanto você fala. Precisa ser rápido, então sacrifica um pouco de precisão. É o que se usa em lives, reuniões e podcasts gravados em tempo real.
- Na pós-produção: um programa analisa o áudio já gravado e anima cada fonema com calma. É usado em animação profissional e games, onde há tempo para caprichar.
Para conversar com outras pessoas, o que importa é o lip sync ao vivo. Uma pequena defasagem entre voz e boca quase ninguém percebe se os gestos acompanham bem. Se você quer levar isso para um vídeo, veja como gravar um podcast com avatar 3D no navegador.
Quer ver o seu avatar falando com a sua voz? Crie seu estúdio grátis.
Perguntas frequentes
O lip sync precisa de câmera?
Nem sempre. O lip sync por voz só precisa do microfone. A câmera é usada em sistemas que copiam os gestos reais do seu rosto, que são mais precisos, porém mais exigentes.
Por que o meu avatar mexe a boca quando eu não estou falando?
Quase sempre é ruído de fundo ou a voz de outra pessoa entrando pelo seu microfone. Use fones de ouvido, afaste as fontes de ruído e silencie o microfone quando não estiver falando.
O lip sync funciona com qualquer idioma?
O que se baseia no volume da voz funciona com qualquer idioma e sotaque. Os sistemas que tentam reconhecer sons específicos podem estar mais ajustados para alguns idiomas do que para outros.