Os seres humanos são intuitivos por natureza. Conseguimos perceber significados que vão além das palavras literais que encontramos. Agora, uma nova plataforma de aprendizado assistido por inteligência artificial, desenvolvida por engenheiros do MIT, está permitindo que robôs interpretem significados mais amplos em comandos de linguagem natural humanos. 

Em um estudo a ser apresentado na Conferência Anual sobre Aprendizado de Robôs deste mês, pesquisadores do MIT e da Universidade de Nova York apresentam o FLEX , um pipeline flexível de edição de recursos para planejamento de movimento de robôs. 

Com o FLEX, os humanos podem interagir com um robô dando-lhe instruções em linguagem natural e conversacional. O robô não só consegue seguir as instruções literalmente, como também interpretar as palavras para fazer generalizações mais amplas que ajudam a melhorar sua tarefa de planejamento de movimento. 

A equipe demonstrou o FLEX em diversos cenários simulados, incluindo um em que um robô serve uma xícara de café. Nesses cenários virtuais, uma pessoa interage com um braço robótico digitando comandos em linguagem natural. Conforme o robô move a xícara de café sobre uma mesa desarrumada, a pessoa pode digitar "Não derrame no laptop!". Em resposta, o robô raciocina sobre por que deve evitar o laptop. Para isso, o FLEX incorpora um modelo de linguagem amplo (LLM, na sigla em inglês) — um tipo de sistema de IA treinado em enormes bibliotecas de texto, incluindo postagens em mídias sociais, transcrições de vídeos e conteúdo da web, que o LLM usa para identificar tendências, padrões e generalizações mais amplos. 

“Os LLMs viram muitos textos da internet”, diz o autor do estudo, Nathan Dennler, pós-doutorando no Laboratório de Ciência da Computação e Inteligência Artificial (CSAIL) do MIT. “As pessoas podem ter escrito coisas como: 'Meu celular caiu na água e agora não funciona' ou 'Derramei café no meu computador e agora ele não funciona'. Então, os LLMs captam a ideia de que líquidos mais dispositivos levam a coisas que não funcionam.”

Por meio do LLM, o robô deduz que também deve evitar colidir com todos os aparelhos eletrônicos. Em sua trajetória atualizada, o robô se ajusta para evitar tanto o laptop quanto um telefone próximo, sem que a pessoa precise especificar isso explicitamente.

“A ideia é que exista uma intenção de nível superior por trás das palavras que você diz”, diz Dennler. “As pessoas entendem isso naturalmente. Mas você precisa explicar isso cuidadosamente para um robô, o que leva tempo e esforço. O FLEX oferece uma interface de comunicação com um robô para dizer: 'Quando as pessoas dizem isso, elas querem dizer aquilo'.”

O estudo foi liderado por Andreea Bobu, professora assistente de aeronáutica e astronáutica no MIT. Os coautores são Audrey Lee SM '26 e Ilia Sucholutsky, da Universidade de Nova York.

No MIT, Bobu lidera o Laboratório de Pesquisa em Aprendizagem Colaborativa e Autonomia (CLEAR), onde seu grupo desenvolve agentes autônomos que aprendem a trabalhar para, com e ao redor de pessoas. Ela se concentra no desenvolvimento de robôs assistenciais e domésticos que podem realizar tarefas físicas, raciocinar e se adaptar em tempo real, em resposta a comandos conversacionais naturais de uma pessoa. 

“Os robôs usam matemática para planejar suas trajetórias. Mas não podemos esperar que um consumidor aprenda a fazer esses cálculos para dizer a um robô o que fazer”, afirma Dennler, membro do Laboratório CLEAR. “Em vez de ensinar as pessoas a usar um robô de uma maneira específica, o objetivo é interagir com o robô por meio da linguagem natural.”

Na comunidade da robótica, há um grande esforço para incorporar a linguagem natural aos processos de aprendizagem de robôs. Diversas estratégias incluem o uso da linguagem para esclarecer o objetivo de uma tarefa, redirecionar a trajetória de um robô e atualizar sua compreensão sobre qual é o caminho seguro a seguir. Esses métodos existentes usam a linguagem natural para instruir o robô sobre como executar fisicamente uma tarefa. Mas um robô poderia potencialmente aprender muito mais com o que lhe dizemos. 

Bobu e seus colegas estão expandindo o que os robôs podem aprender a partir de comandos em linguagem natural. Em seu novo estudo, eles se concentraram em permitir que um robô interprete a preferência subjacente e não especificada de uma pessoa a partir de comandos limitados em linguagem natural.  

A nova plataforma de aprendizado de robôs da equipe, FLEX, é um processo de três etapas que ajuda um robô a interpretar um comando em linguagem natural de forma mais abrangente, indo além do que lhe é explicitamente dito para fazer. 

O primeiro passo, “Adicionar”, instrui um robô a adicionar uma característica à sua lista de elementos do ambiente relevantes para a tarefa em questão, com base em um comando de linguagem natural do usuário. Por exemplo, enquanto um robô move uma bola de boliche de um local para outro, uma pessoa pode interromper com um “Não deixe cair na minha caneca!”. O robô, então, adicionaria a caneca a uma lista de objetos a serem evitados em seu caminho. Este primeiro passo é o funcionamento dos métodos anteriores. Cada vez que uma pessoa faz uma correção, o robô adiciona um elemento à sua lista de características e atualiza sua trajetória para evitar esses objetos. 

“O problema surge quando a sua lista de funcionalidades fica muito longa e algumas funcionalidades deixam de ser relevantes porque o seu ambiente pode ter mudado”, afirma Dennler, que observa que esta abordagem pode tornar-se cansativa se a pessoa tiver de especificar cada funcionalidade específica que deve ser evitada. 

O segundo passo, “Generalizar”, é a nova solução que o FLEX oferece. Este passo incorpora um LLM — neste caso, o GPT-4o — que considera a caneca, juntamente com quaisquer outras características que a pessoa tenha especificado até o momento para evitar. O LLM pesquisa automaticamente em seu vasto banco de dados por padrões e conexões entre essas características, para finalmente generalizar e evitar objetos frágeis, mesmo quando a pessoa não o tenha mencionado explicitamente. 

“Os mestres em Direito (LLM) veem tantos textos da internet, de todos os tipos de pessoas e lugares”, diz Dennler. “Como eles se especializam muito nessas coisas, parte desse senso comum acaba sendo absorvido pelo LLM.”

Na terceira etapa, "Mascarar", o sistema de visão computacional padrão do robô avalia o ambiente para determinar quais objetos não estão mais presentes e, em seguida, exclui esses objetos da sua lista de características. Todo esse processo de três etapas leva cerca de cinco segundos. 

A equipe testou o FLEX em simulações de um braço robótico realizando três tarefas diferentes: servir uma xícara de café, mover uma vela e carregar uma bola de boliche. Em todos os três cenários, voluntários interagiram com o robô virtual digitando comandos em linguagem natural, como "Não derrame no meu laptop", "Fique longe da pilha de papéis" e "Não deixe cair na caneca". Com o FLEX, o robô seguiu todos os três comandos literalmente e também raciocinou em um nível mais elevado para não derramar em aparelhos eletrônicos, ficar longe de objetos inflamáveis e não deixar cair sua carga sobre objetos frágeis. 

“Cada casa é diferente e cada pessoa se importa com coisas diferentes, então nenhum robô sai da caixa sabendo o que é importante para você”, diz Bobu. “O que me entusiasma no FLEX é que ele consegue entender isso com uma ou duas frases, em vez de pedir que você explique cada regra detalhadamente — e essa é a diferença entre um robô que as pessoas toleram e um que elas realmente querem em casa.” 

Este trabalho foi parcialmente financiado pelo Consórcio de Impacto da IA Generativa do MIT e pelo programa de Responsabilidades Sociais e Éticas da Computação da Faculdade de Computação Schwarzman do MIT.