Tecnologia Científica

LyricJam: um sistema que pode gerar letras para música instrumental ao vivo
Esses sistemas podem ter uma variedade de aplicações valiosas, particularmente em campos criativos que envolvem a produção de obras de arte novas e exclusivas.
Por Ingrid Fadelli - 28/06/2021


Visão geral do modelo LyricJam. No estágio 1, os pesquisadores treinaram um autoencoder variacional de espectrograma (VAE) para aprender representações de áudio. No Estágio 2, eles treinaram um VAE condicional (CVAE) para aprender as representações das letras condicionadas em seus clipes de áudio correspondentes. Por fim, na Etapa 3, um modelo de alinhamento baseado em rede adversária gerativa (GAN) foi treinado para alinhar letras e representações de áudio. No momento da inferência, um clipe de áudio musical gravado em tempo real é convertido em um espectrograma, que o modelo usa para gerar novas letras de acordo com a música. Crédito: Vechtomova, Sahu & Kumar.

Nas últimas décadas, os cientistas da computação desenvolveram ferramentas computacionais que podem gerar tipos específicos de dados, como imagens, palavras ou gravações de áudio. Esses sistemas podem ter uma variedade de aplicações valiosas, particularmente em campos criativos que envolvem a produção de obras de arte novas e exclusivas.

Pesquisadores da Universidade de Waterloo desenvolveram recentemente o LyricJam, um sistema computacional avançado que pode gerar letras para música instrumental ao vivo . Este sistema, apresentado em um conjunto de artigos a ser apresentado na Conferência Internacional de Criatividade Computacional e pré-publicado no arXiv, pode ajudar os artistas a compor novas letras que combinem bem com a música que criam.

"Sempre tive um amor profundo pela música e interesse em aprender sobre os processos criativos por trás de algumas de minhas canções favoritas", disse Olga Vechtomova, uma das pesquisadoras que realizaram o estudo. "Isso me levou a fazer pesquisas sobre música e letras e como o aprendizado de máquina poderia ser usado para projetar ferramentas que inspirariam artistas musicais."

Vechtomova e seus colegas têm conduzido pesquisas com foco na geração de letras por alguns anos. Inicialmente, eles desenvolveram um sistema que pode aprender características ou aspectos específicos do estilo lírico de um artista , analisando gravações de áudio de suas canções e letras que compuseram no passado. Esse sistema, então, usa as informações coletadas em suas análises para gerar letras que estejam alinhadas com o estilo de um determinado artista.

Mais recentemente, os pesquisadores também começaram a investigar a possibilidade de gerar letras para clipes de áudio de músicas instrumentais gravadas. Em seu novo estudo, eles tentaram dar um passo à frente, desenvolvendo um sistema que pode gerar letras adequadas para música ao vivo.

"O objetivo desta pesquisa foi projetar um sistema que pode gerar letras refletindo o humor e as emoções expressas por meio de vários aspectos da música, como acordes, instrumentos, andamento, etc.", disse Vechtomova. "Decidimos criar uma ferramenta que os músicos pudessem usar para obter inspiração para a composição de suas próprias canções."
 
Essencialmente, Vechtomova e seus colegas decidiram criar um sistema que pudesse processar música ao vivo crua tocada por um músico individual ou uma banda e gerar letras que correspondessem às emoções expressas pela música. Os artistas seriam então capazes de revisar essas letras geradas e inspirar-se nelas ou adaptá-las, descobrindo assim novos temas interessantes ou ideias líricas que não haviam considerado antes.

"O cenário que imaginamos é de um sistema de IA que atua como um parceiro cocriativo com um músico", explicou Vechtomova. "Do ponto de vista do usuário, o aplicativo LyricJam é muito simples: um artista musical toca música ao vivo e o sistema exibe as linhas das letras que ele gera em tempo real em resposta à música que ouve. As linhas geradas são salvas durante a sessão, para que o artista possa olhá-los depois de terminarem de tocar. "

Exemplos de letras geradas por LyricJam para diferentes tipos de música instrumental.
Os clipes de áudio são representados como espectrogramas que capturam várias
características musicais. Durante o treinamento, a modelo aprende a associar temas
líricos, palavras e expressões a vários aspectos da música, como ritmo, instrumentação
e harmonias. Uma vez treinado, o sistema idealizado pelos pesquisadores pode gerar
novas letras que refletem as emoções transmitidas pelo artista por meio
de sua música. Crédito: Vechtomova, Sahu & Kumar

O sistema criado pelos pesquisadores funciona convertendo arquivos de áudio brutos em espectrogramas e, em seguida, usando modelos de aprendizagem profunda para gerar letras que correspondem à música que eles processaram em tempo real. A arquitetura do modelo é composta por dois autoencoders variacionais, um projetado para aprender representações de áudio musical e outro para aprender letras.

Vechtomova e seus colegas projetaram dois novos mecanismos que alinham as representações da música e das letras processadas pelos dois codificadores automáticos. Em última análise, esses mecanismos permitem que seu sistema aprenda quais tipos de letras combinam bem com uma música instrumental específica.

"Deixamos a máquina aprender essas associações a partir dos dados de uma forma não supervisionada", disse Vechtomova. "Como resultado, a máquina aprende os temas, palavras e expressões líricas que estão associadas a diferentes tipos de música. Por exemplo, observamos que as letras geradas para música calma e ambiente são muito diferentes daquelas geradas para músicas com um som mais agressivo."

A principal característica que diferencia o LyricJam de outros sistemas de geração de letras desenvolvidos no passado é que ele pode criar letras adequadas em tempo real, enquanto um artista está tocando música ao vivo. Músicos e outros usuários interessados ​​em experimentar o sistema podem acessar uma versão ao vivo em https://lyricjam.ai .

"Quero destacar que a motivação central para esta pesquisa não é escrever uma música para o artista, mas inspirar a própria criatividade do artista, sugerindo novas ideias e expressões que o sistema gerou ao ouvir sua música", disse Vechtomova. "Não queremos tornar o processo de escrita das letras mais fácil ou rápido. Em vez disso, queremos torná-lo mais gratificante, ajudando os artistas a entrar no fluxo criativo e realizar sua própria criatividade, colaborando com o sistema."

Para avaliar o sistema que desenvolveram, Vechtomova e seus colegas realizaram um estudo de usuário no qual pediram aos músicos que tocassem música ao vivo e compartilhassem seus comentários sobre as letras criadas por seu sistema. Curiosamente, a maioria dos músicos que participaram deste estudo disseram que percebiam o LyricJam como um parceiro de jam não crítico, o que os encorajava a improvisar e experimentar expressões musicais incomuns.

"Por exemplo, mudando seu estilo musical ou tentando novas progressões de acordes, os artistas que participaram de nosso estudo de usuário observaram uma mudança em tempo real nos temas das letras, o que eles acharam encorajador", disse Vechtomova. "Isso sugere que o sistema pode ser útil não apenas para escrever letras, mas também para improvisar e compor música."

No futuro, LyricJam pode provar ser uma ferramenta altamente valiosa para músicos e artistas em todo o mundo, ajudando-os a compor letras únicas e interessantes para suas canções. Vechtomova e seus colegas estão atualmente trabalhando em uma versão final do sistema que pode ser facilmente acessada por artistas em todo o mundo, enquanto também tentam projetar outras ferramentas que possam melhorar os processos de escrita das letras.

"Projetar ferramentas que ajudem os artistas da música a liberar sua criatividade é um dos meus principais interesses de pesquisa", disse Vechtomova. “Tenho uma série de projetos de pesquisa em andamento em meu laboratório, onde examinamos outros aspectos das letras e da música, como as características fonéticas das letras e a estrutura musical das canções, para que possamos potencialmente incorporar esses aspectos em modelos líricos generativos. "

 

.
.

Leia mais a seguir