Ao estudar os fundamentos computacionais da aprendizagem de línguas, o professor associado Jacob Andreas constrói sistemas inteligentes capazes de se comunicar eficazmente com os seres humanos.

“Em vez de precisarmos usar todas essas ferramentas externas para tentar entender o que está acontecendo internamente, talvez possamos treinar modelos para que eles se descrevam de uma forma precisa”, diz Jacob Andreas. Créditos: Crédito: Bryce Vickmark
Ao implantar modelos de aprendizado profundo em cenários de alto risco, os pesquisadores desejam entender como eles funcionam. Atualmente, isso exige desvendar uma rede extremamente complexa de nós de processamento internos para compreender o que o modelo sabe e como ele provavelmente se comportará na prática.
Jacob Andreas preferiria que os modelos se explicassem por si mesmos.
O professor associado recém-efetivado desenvolve técnicas que permitem que modelos de inteligência artificial comuniquem com precisão o que aprenderam com seus dados de treinamento, em uma linguagem que os humanos possam entender.
“Em vez de precisarmos usar todas essas ferramentas externas para tentar entender o que está acontecendo internamente, talvez possamos treinar modelos para que eles se descrevam de uma forma precisa”, diz Andreas, professor associado do Departamento de Engenharia Elétrica e Ciência da Computação (EECS) e membro do Laboratório de Ciência da Computação e Inteligência Artificial (CSAIL).
Ao estudar como as máquinas aprendem a compreender a linguagem, Andreas e seu grupo trabalham para construir sistemas inteligentes que possam aprender sobre o mundo com a orientação humana e se comunicar efetivamente com colaboradores humanos. Eles desenvolvem métodos para tornar o processo de treinamento mais natural e eficiente, para que os modelos de IA aprendam de uma maneira mais semelhante à aprendizagem humana.
Em última análise, ele e seu grupo querem ajudar as pessoas a projetar modelos de aprendizado profundo mais precisos e robustos, mais adequados à aplicação pretendida.
“Antes, depurávamos sistemas apenas analisando seus parâmetros e tentando descobrir se faziam sentido ou não. Agora, precisamos de 'ferramentas de leitura da mente' que possam pegar essa computação neural realmente complexa e traduzi-la para nós, porque simplesmente não está em uma linguagem que nós, como humanos, sabemos falar”, diz ele.
Amor pela linguagem
O fascínio de Andreas pela linguagem floresceu desde cedo. Quando criança, crescendo na região da Baía de São Francisco, ele era um leitor voraz de qualquer livro que lhe caísse nas mãos.
Um desses livros, que lhe foi entregue por um amigo da família, continha uma cena crucial em que o personagem principal invadia um sistema de computador para salvar o dia.
Isso despertou seu interesse por computadores. Alguns anos depois, seu pai trouxe para casa um programa BASIC simples que Andreas podia executar no computador de casa, e ele começou a mergulhar no mundo da programação.
Andreas optou por se formar em ciência da computação na Universidade de Columbia, mas não tinha certeza se queria seguir carreira como pesquisador, engenheiro de software ou em uma startup.
Seus amigos se inscreveram em projetos de pesquisa em laboratórios de faculdades, então Andreas pensou em tentar também.
"Eu simplesmente enviei um e-mail para todos no departamento de ciência da computação que estavam trabalhando em algo remotamente relacionado à IA, e o corpo docente de processamento de linguagem natural foi o primeiro a me responder. Foi assim que acabei na área em que estou agora", diz ele.
Trabalhando no laboratório de Michael Collins, professor de Ciência da Computação da Universidade Columbia, Andreas concluiu um projeto de tese de graduação sobre tradução automática. Seu projeto envolveu a adaptação de técnicas estatísticas existentes para representar o significado da linguagem em sistemas de IA mais poderosos, capazes de traduzir trechos de texto.
“Sempre tive a sensação de que essas questões mais profundas sobre como o pensamento funciona ou como modelar o mundo estavam mais à superfície nos problemas de processamento de linguagem do que nas outras tarefas em que os especialistas em IA estavam trabalhando na época”, ele relembra.
Uma mudança sísmica
Ele queria continuar explorando questões profundas, então Andreas se matriculou na pós-graduação da Universidade da Califórnia em Berkeley para seguir carreira como pesquisador acadêmico.
Antes de iniciar seus estudos de doutorado, ele passou um ano cursando o mestrado na Universidade de Cambridge, na Inglaterra. Nesse ambiente histórico, ele se inspirou a refletir sobre a natureza da aprendizagem de línguas enquanto trabalhava em problemas de tradução computacional.
Esses estudos alimentaram sua pesquisa quando ele se juntou ao laboratório do professor de ciência da computação Dan Klein, em Berkeley.
Andreas iniciou seus estudos na época em que as redes neurais começavam a ganhar destaque. O campo do processamento de linguagem natural estava passando por uma transformação radical, migrando de métodos estatísticos para esse novo mundo da aprendizagem profunda.
Os métodos estatísticos utilizam fórmulas matemáticas transparentes para analisar textos, enquanto as técnicas de aprendizado profundo usam algoritmos opacos para aprender automaticamente significados complexos a partir de grandes quantidades de dados textuais.
“Foi divertido estar lá enquanto fazíamos essa transição para o conjunto de ferramentas moderno, aprendendo e inventando tudo aquilo quando ainda era novidade”, diz Andreas.
Ele começou a colaborar com cientistas em laboratórios de visão computacional para abordar questões cada vez mais complexas sobre o aprendizado de idiomas. Juntos, eles projetaram sistemas de IA que se destacavam na geração de linguagem natural, ensinando esses sistemas a "ver" e compreender o mundo ao seu redor.
“Tudo isso foi superemocionante porque realmente não existia um conjunto comum de ferramentas para trabalhar com dados de linguagem e de visão. Então, de repente, as redes neurais nos deram essa linguagem comum”, ele relembra.
Ele concluiu um projeto de tese sobre o uso de redes de módulos neurais, que são pequenos fragmentos de redes neurais que executam tarefas específicas, como localizar objetos ou realizar raciocínio lógico, em um sistema de IA maior. Mas foram os projetos mais especulativos que ele desenvolveu paralelamente à sua tese, como interpretabilidade e criação de descrições em linguagem natural dos estados internos de um modelo de IA, que direcionariam o foco de seu grupo no MIT.
Foco do corpo docente
Após passar um ano na startup Semantic Machines (que surgiu de seu laboratório em Berkeley), Andreas ingressou no corpo docente do MIT em 2019.
“Parecia uma oportunidade fantástica de estar no berço da pesquisa em IA e colaborar com todas essas pessoas incríveis e consagradas, mas também de fazer algo novo e descobrir como seria a era moderna do aprendizado de máquina”, diz ele.
Seu grupo se concentra em duas áreas principais. Primeiro, eles estudam a ciência dos grandes modelos de linguagem para entender os algoritmos que esses modelos utilizam ao aprender e processar informações.
As ferramentas que eles desenvolvem ajudam cientistas e pesquisadores a prever melhor como um modelo treinado se comportará no mundo real. Por exemplo, uma família de técnicas que eles desenvolveram treina grandes modelos de linguagem para explicar o que está acontecendo dentro de outras redes neurais usando uma linguagem que um ser humano possa entender.
Essas técnicas podem atribuir uma descrição em linguagem natural a cada nó de processamento de informações em uma rede neural massiva. Por exemplo, uma dessas descrições poderia representar um nó individual que identifica "manchas de grama perto de animais" em imagens de entrada .
“Esse trabalho serve como ponto de partida para uma série de perguntas de nível superior que fazemos sobre como esses modelos representam o significado”, diz ele.
Por outro lado, sua equipe desenvolve novos algoritmos para treinar modelos de aprendizado de máquina e para prever como conjuntos de dados ou exemplos específicos afetarão diferentes aspectos do comportamento do modelo.
“Não temos uma boa teoria científica sobre o que vai acontecer quando você treina um modelo em um conjunto de dados específico. Este é um grande desafio para a área atualmente”, afirma.
Um ambiente em constante mudança
A velocidade dos avanços na IA representa um dos maiores desafios enfrentados por seu laboratório. O campo parece mudar completamente a cada três a cinco anos, diz Andreas, o que o obriga a se manter flexível e pronto para aprender algo novo.
Esse mesmo dilema se estende aos cursos 6.461 e 6.861 (Processamento de Linguagem Natural para graduação e pós-graduação), que Andreas leciona em conjunto com outros professores. Ele e seus colegas precisam reformular o curso a cada ano para acompanhar os desenvolvimentos mais recentes.
Também é um desafio ensinar os aspectos técnicos da aprendizagem de máquina numa era em que todas as tarefas podem ser concluídas por um grande modelo de linguagem em vez de um aluno humano.
“Procuro incutir nos alunos a ideia de que ter uma base sólida em como toda esta tecnologia funciona internamente é a única forma de a compreenderem e se diferenciarem num mundo onde todos têm acesso a um programador”, afirma.
Com tantas mudanças, é difícil prever para onde a área se encaminha, afirma Andreas. Ele prevê que o trabalho de seu grupo em interpretabilidade se tornará ainda mais importante para tornar sistemas avançados, como agentes de IA, seguros o suficiente para serem implantados em situações de alto risco.
Isso será especialmente verdadeiro à medida que os pesquisadores desenvolverem modelos de aprendizado profundo que possam auxiliar na descoberta científica. Esses modelos serão treinados com grandes quantidades de dados brutos provenientes de laboratórios de pesquisa, que podem ainda não ser bem compreendidos pelos cientistas.
“Descobrir como permitir que esses modelos verbalizem todo esse conhecimento oculto que possuem sobre coisas que as pessoas nunca escreveram explicitamente será um enorme desafio e uma grande oportunidade para quem trabalha com aprendizado de máquina”, afirma.
Além de enfrentar desafios no laboratório, Andreas gosta de se desafiar como caminhante e mochileiro. Ele adora passar tempo ao ar livre desde a infância na Califórnia e faz pelo menos uma ou duas viagens de mochilão a cada verão.
Ele e um colega do Departamento de Matemática estão percorrendo todos os picos de 1.200 metros (4.000 pés) das Montanhas Brancas de New Hampshire, fazendo um progresso lento, porém constante.
Agora que conquistou a estabilidade no emprego, Andreas está ansioso para retomar um antigo hobby: cantar em um coral de câmara. Ele sempre gostou de música e se apaixonou por corais de capela e pelo toque de sinos durante seu período na Universidade de Cambridge.