Imagine que vocêestãotreinando um computador com um vocabula¡rio sãolido e um conhecimento ba¡sico sobre partes do discurso. Como entenderia essa frase: "O chef que correu para a loja estava sem comida".

O chef ficou sem comida? A loja fez? O chef administrou a loja que ficou sem comida?

A maioria dos falantes humanos de inglês encontrara¡ instantaneamente a resposta certa, mas mesmo sistemas avana§ados de inteligaªncia artificial podem ficar confusos. Afinal, parte da frase literalmente diz que "a loja estava sem comida".

Novos modelos avana§ados de aprendizado de ma¡quina fizeram um enorme progresso nesses problemas, principalmente por meio do treinamento em enormes conjuntos de dados ou "bancos de a¡rvores" de frases que os seres humanos rotularam manualmente para ensinar grama¡tica, sintaxe e outros princa­pios lingua­sticos.

O problema éque os bancos de a¡rvores são caros e exigem muito trabalho, e os computadores ainda enfrentam muitas ambiguidades. A mesma coleção de palavras pode ter significados muito diferentes, dependendo da estrutura e do contexto da sentena§a.

Mas um par de novos estudos de pesquisadores de inteligaªncia artificial de Stanford descobriram que os sistemas avana§ados de IA podem descobrir os princa­pios lingua­sticos por conta própria, sem antes praticar com frases que os humanos rotularam para eles. a‰ muito mais pra³ximo de como as criana§as humanas aprendem idiomas muito antes dos adultos lhes ensinarem grama¡tica ou sintaxe.

Ainda mais surpreendente, no entanto, os pesquisadores descobriram que o modelo de IA parece inferir relações gramaticais "universais" que se aplicam a muitos idiomas diferentes.

Isso tem grandes implicações no processamento de linguagem natural, que écada vez mais central nos sistemas de IA que respondem a perguntas, traduzem idiomas, ajudam os clientes e atérevisam curra­culos. Tambanãm poderia facilitar sistemas que aprendem idiomas falados por um número muito pequeno de pessoas.

A chave para o sucesso? Parece que as ma¡quinas aprendem muito sobre a linguagem apenas jogando bilhaµes de jogos que são remanescentes de "Mad Libs". Para melhorar a previsão das palavras ausentes, os sistemas gradualmente criam seus pra³prios modelos sobre como as palavras se relacionam.

"Amedida que esses modelos se tornam maiores e mais flexa­veis, verifica-se que eles realmente se auto-organizam para descobrir e aprender a estrutura da linguagem humana", diz Christopher Manning , professor de Machine Learning e professor de Machine Learning e professor de lingua­stica e de computação de Thomas M. Siebel. ciência em Stanford e diretor associado do Instituto de Inteligaªncia Artificial Centrada no Homem (HAI) de Stanford . "a‰ semelhante ao que uma criana§a humana faz."

O primeiro estudo relata experimentos de três estudantes de doutorado em ciência da computação da Stanford - Kevin Clark, John Hewitt e Urvashi Khandelwal - que trabalharam com Manning e com Omer Levy, pesquisador da Facebook Artificial Intelligence Research .

Os pesquisadores começam usando um modelo de processamento de linguagem de ponta desenvolvido pelo Google, apelidado de BERT (abreviação de "Representações de codificadores bidirecionais dos transformadores"). O BERT usa uma abordagem Mad Libs para se treinar, mas os pesquisadores supuseram que o modelo estava simplesmente fazendo associações entre palavras próximas. Uma frase que mencione "aros" e "arremesso", por exemplo, levaria o modelo a procurar palavras ligadas ao basquete.

No entanto, a equipe de Stanford descobriu que o sistema estava fazendo algo mais profundo: estava aprendendo a estrutura das frases para identificar substantivos e verbos, além de assuntos, objetos e predicados. Isso, por sua vez, melhorou sua capacidade de desvendar o verdadeiro significado das sentena§as que, de outra forma, poderiam ser confusas.

"Se conseguir descobrir o assunto ou o objeto de um verbo em branco, isso ajudara¡ a prever o verbo melhor do que simplesmente conhecer as palavras que aparecem nas proximidades", diz Manning. "Se souber que 'ela' se refere a Lady Gaga, por exemplo, tera¡ mais uma ideia do que ela provavelmente estãofazendo."

Isso émuito útil. Tome esta frase sobre literatura promocional para fundos de investimento: “Continua a adicionar alguns fundos diversificados da Fidelity por nome”.

O sistema reconheceu que “plug” era um verbo, embora essa palavra seja geralmente um substantivo, e que “funds” fosse um substantivo e o objeto do verbo - mesmo que “funds” possa parecer um verbo. Além disso, o sistema não se distraiu com a sequaªncia de palavras descritivas - “algumas Fidelidades diversificadas” - entre “plug” e “fundos”.

O sistema também se tornou bom em identificar palavras que se referiam umas a s outras. Em uma passagem sobre reuniaµes entre israelenses e palestinos, o sistema reconheceu que as “negociações” mencionadas em uma frase eram as mesmas que “negociações” na frase seguinte. Tambanãm aqui o sistema não decidiu erroneamente que "conversas" era um verbo.

"De certa forma, não énada menos que milagroso", diz Manning. "Tudo o que estamos fazendo éter essas redes neurais muito grandes executando essas tarefas da Mad Libs, mas isso ésuficiente para fazaª-las comea§ar a aprender estruturas gramaticais".

Em um artigo separado, baseado amplamente no trabalho do estudante de Stanford Ethan Chi, Manning e seus colegas encontraram evidaªncias de que o BERT ensina a si mesmo princa­pios universais que se aplicam em idiomas tão diferentes quanto inglês, francaªs e chinaªs. Ao mesmo tempo, o sistema aprendeu diferenças: em inglês, um adjetivo geralmente fica na frente do substantivo que estãosendo modificado, mas em francaªs e em muitas outras la­nguas segue o substantivo.

A conclusão éque a identificação de padraµes entre idiomas deve facilitar para um sistema que aprende um idioma aprender mais sobre eles - mesmo que eles parea§am ter pouco em comum.

"Essa representação gramatical comum entre idiomas sugere que modelos multila­ngues treinados em 10 idiomas devem aprender uma danãcima primeira ou danãcima segunda la­ngua com muito mais facilidade", diz Manning. "De fato, éexatamente isso que estamos comea§ando a encontrar."