Tecnologia Científica

LyricJam: um sistema que pode gerar letras para música instrumental ao vivo
Esses sistemas podem ter uma variedade de aplicações valiosas, particularmente em campos criativos que envolvem a produção de obras de arte novas e exclusivas.
Por Ingrid Fadelli - 28/06/2021


Visão geral do modelo LyricJam. No esta¡gio 1, os pesquisadores treinaram um autoencoder variacional de espectrograma (VAE) para aprender representações de a¡udio. No Esta¡gio 2, eles treinaram um VAE condicional (CVAE) para aprender as representações das letras condicionadas em seus clipes de a¡udio correspondentes. Por fim, na Etapa 3, um modelo de alinhamento baseado em rede adversa¡ria gerativa (GAN) foi treinado para alinhar letras e representações de a¡udio. No momento da inferaªncia, um clipe de a¡udio musical gravado em tempo real éconvertido em um espectrograma, que o modelo usa para gerar novas letras de acordo com a música. Crédito: Vechtomova, Sahu & Kumar.

Nas últimas décadas, os cientistas da computação desenvolveram ferramentas computacionais que podem gerar tipos específicos de dados, como imagens, palavras ou gravações de a¡udio. Esses sistemas podem ter uma variedade de aplicações valiosas, particularmente em campos criativos que envolvem a produção de obras de arte novas e exclusivas.

Pesquisadores da Universidade de Waterloo desenvolveram recentemente o LyricJam, um sistema computacional avana§ado que pode gerar letras para música instrumental ao vivo . Este sistema, apresentado em um conjunto de artigos a ser apresentado na Conferência Internacional de Criatividade Computacional e pré-publicado no arXiv, pode ajudar os artistas a compor novas letras que combinem bem com a música que criam.

"Sempre tive um amor profundo pela música e interesse em aprender sobre os processos criativos por trás de algumas de minhas canções favoritas", disse Olga Vechtomova, uma das pesquisadoras que realizaram o estudo. "Isso me levou a fazer pesquisas sobre música e letras e como o aprendizado de ma¡quina poderia ser usado para projetar ferramentas que inspirariam artistas musicais."

Vechtomova e seus colegas tem conduzido pesquisas com foco na geração de letras por alguns anos. Inicialmente, eles desenvolveram um sistema que pode aprender caracteri­sticas ou aspectos específicos do estilo la­rico de um artista , analisando gravações de a¡udio de suas canções e letras que compuseram no passado. Esse sistema, então, usa as informações coletadas em suas análises para gerar letras que estejam alinhadas com o estilo de um determinado artista.

Mais recentemente, os pesquisadores também começam a investigar a possibilidade de gerar letras para clipes de a¡udio de músicas instrumentais gravadas. Em seu novo estudo, eles tentaram dar um passo a  frente, desenvolvendo um sistema que pode gerar letras adequadas para música ao vivo.

"O objetivo desta pesquisa foi projetar um sistema que pode gerar letras refletindo o humor e as emoções expressas por meio de vários aspectos da música, como acordes, instrumentos, andamento, etc.", disse Vechtomova. "Decidimos criar uma ferramenta que os maºsicos pudessem usar para obter inspiração para a composição de suas próprias canções."
 
Essencialmente, Vechtomova e seus colegas decidiram criar um sistema que pudesse processar música ao vivo crua tocada por um maºsico individual ou uma banda e gerar letras que correspondessem a s emoções expressas pela música. Os artistas seriam então capazes de revisar essas letras geradas e inspirar-se nelas ou adapta¡-las, descobrindo assim novos temas interessantes ou ideias la­ricas que não haviam considerado antes.

"O cena¡rio que imaginamos éde um sistema de IA que atua como um parceiro cocriativo com um maºsico", explicou Vechtomova. "Do ponto de vista do usua¡rio, o aplicativo LyricJam émuito simples: um artista musical toca música ao vivo e o sistema exibe as linhas das letras que ele gera em tempo real em resposta a  música que ouve. As linhas geradas são salvas durante a sessão, para que o artista possa olha¡-los depois de terminarem de tocar. "

Exemplos de letras geradas por LyricJam para diferentes tipos de música instrumental.
Os clipes de a¡udio são representados como espectrogramas que capturam várias
caracteri­sticas musicais. Durante o treinamento, a modelo aprende a associar temas
la­ricos, palavras e expressaµes a vários aspectos da música, como ritmo, instrumentação
e harmonias. Uma vez treinado, o sistema idealizado pelos pesquisadores pode gerar
novas letras que refletem as emoções transmitidas pelo artista por meio
de sua música. Crédito: Vechtomova, Sahu & Kumar

O sistema criado pelos pesquisadores funciona convertendo arquivos de a¡udio brutos em espectrogramas e, em seguida, usando modelos de aprendizagem profunda para gerar letras que correspondem a  música que eles processaram em tempo real. A arquitetura do modelo écomposta por dois autoencoders variacionais, um projetado para aprender representações de a¡udio musical e outro para aprender letras.

Vechtomova e seus colegas projetaram dois novos mecanismos que alinham as representações da música e das letras processadas pelos dois codificadores automa¡ticos. Em última análise, esses mecanismos permitem que seu sistema aprenda quais tipos de letras combinam bem com uma música instrumental especa­fica.

"Deixamos a ma¡quina aprender essas associações a partir dos dados de uma forma não supervisionada", disse Vechtomova. "Como resultado, a ma¡quina aprende os temas, palavras e expressaµes la­ricas que estãoassociadas a diferentes tipos de música. Por exemplo, observamos que as letras geradas para música calma e ambiente são muito diferentes daquelas geradas para músicas com um som mais agressivo."

A principal caracterí­stica que diferencia o LyricJam de outros sistemas de geração de letras desenvolvidos no passado éque ele pode criar letras adequadas em tempo real, enquanto um artista estãotocando música ao vivo. Maºsicos e outros usuários interessados ​​em experimentar o sistema podem acessar uma versão ao vivo em https://lyricjam.ai .

"Quero destacar que a motivação central para esta pesquisa não éescrever uma música para o artista, mas inspirar a própria criatividade do artista, sugerindo novas ideias e expressaµes que o sistema gerou ao ouvir sua música", disse Vechtomova. "Nãoqueremos tornar o processo de escrita das letras mais fa¡cil ou rápido. Em vez disso, queremos torna¡-lo mais gratificante, ajudando os artistas a entrar no fluxo criativo e realizar sua própria criatividade, colaborando com o sistema."

Para avaliar o sistema que desenvolveram, Vechtomova e seus colegas realizaram um estudo de usua¡rio no qual pediram aos maºsicos que tocassem música ao vivo e compartilhassem seus comenta¡rios sobre as letras criadas por seu sistema. Curiosamente, a maioria dos maºsicos que participaram deste estudo disseram que percebiam o LyricJam como um parceiro de jam não cra­tico, o que os encorajava a improvisar e experimentar expressaµes musicais incomuns.

"Por exemplo, mudando seu estilo musical ou tentando novas progressaµes de acordes, os artistas que participaram de nosso estudo de usua¡rio observaram uma mudança em tempo real nos temas das letras, o que eles acharam encorajador", disse Vechtomova. "Isso sugere que o sistema pode ser útil não apenas para escrever letras, mas também para improvisar e compor música."

No futuro, LyricJam pode provar ser uma ferramenta altamente valiosa para maºsicos e artistas em todo o mundo, ajudando-os a compor letras únicas e interessantes para suas canções. Vechtomova e seus colegas estãoatualmente trabalhando em uma versão final do sistema que pode ser facilmente acessada por artistas em todo o mundo, enquanto também tentam projetar outras ferramentas que possam melhorar os processos de escrita das letras.

"Projetar ferramentas que ajudem os artistas da música a liberar sua criatividade éum dos meus principais interesses de pesquisa", disse Vechtomova. “Tenho uma sanãrie de projetos de pesquisa em andamento em meu laboratório, onde examinamos outros aspectos das letras e da música, como as caracteri­sticas fonanãticas das letras e a estrutura musical das canções, para que possamos potencialmente incorporar esses aspectos em modelos la­ricos generativos. "

 

.
.

Leia mais a seguir