Os engenheiros frequentemente utilizam modelos de linguagem visual para criar novos projetos, como componentes de aviões ou automóveis. Para simular o desempenho desses componentes em situações reais, eles utilizam softwares de projeto auxiliado por computador (CAD) consagrados para gerar modelos 3D desses projetos, que podem ser submetidos a testes virtuais de colisão ou durabilidade. 

Pesquisadores do MIT e de outras instituições desenvolveram um sistema capaz de ensinar um modelo de visão computacional a converter automaticamente desenhos 2D em programas CAD muito mais precisos e funcionais em comparação com outras abordagens, utilizando apenas uma fração do poder computacional.

Ao aprimorar o desempenho e a eficiência da geração de CAD orientada por IA, essa técnica pode agilizar o processo de prototipagem rápida e reduzir custos. Também pode ajudar os engenheiros a identificar opções de projeto vantajosas que, de outra forma, poderiam passar despercebidas. 

O sistema gera novos dados com base nas capacidades do modelo ao tentar converter uma imagem 2D em um programa CAD. A estrutura corrige as falhas do modelo e as incorpora a um conjunto de dados com suas soluções bem-sucedidas. 

Utiliza esses dados para ensinar o modelo a corrigir erros específicos e a lidar com problemas complexos que teria dificuldade em resolver sozinho.

“Queremos que os engenheiros possam apontar nossa estrutura para um modelo CAD com desempenho insatisfatório, definir um orçamento computacional e deixar o sistema assumir o controle — transformando os próprios erros do modelo em melhores dados de treinamento”, diz o autor principal, Giorgio Giannone, pesquisador afiliado ao Laboratório de Computação de Design e Engenharia Digital (DeCoDE) do MIT e cientista pesquisador principal da Equipe de Inovação em IA da Red Hat.

Ele é acompanhado no artigo por Anna Claire Doris, estudante de pós-graduação em engenharia mecânica no MIT; Amin Heyrani Nobari, pós-doutorando do MIT; Kai Xu, da RedHat; e pelos coautores seniores Akash Srivastava, diretor de IA Central na IBM e pesquisador principal do Laboratório de Pesquisa em Computação MIT-IBM; e Faez Ahmed, professor associado de engenharia mecânica no MIT, líder do Laboratório DeCoDE e pesquisador principal do Laboratório de Pesquisa em Computação MIT-IBM. A pesquisa foi apresentada recentemente na Conferência Internacional de Aprendizado de Máquina.

“Quase todos os produtos físicos ao nosso redor, de aviões a eletrodomésticos, começam sua vida como um modelo CAD. As equipes da indústria estão ansiosas por IA que possa ajudar a acelerar a criação desses projetos, mas os modelos atuais geralmente produzem formas simples, inadequadas para a prática. O que me entusiasma neste trabalho é que ele oferece a muitos modelos de imagem para código CAD uma maneira de se aprimorarem, aprendendo com seus próprios erros em vez de esperar por mais dados criados por humanos — e isso aproxima muito mais as ferramentas de projeto de IA confiáveis ??da engenharia do dia a dia”, diz Ahmed.

Os pesquisadores estão trabalhando no desenvolvimento de modelos de visão-linguagem (VLMs) para geração de CAD. Esses VLMs recebem uma imagem 2D e um texto descritivo, e geram um código Python que pode ser executado em um software CAD para criar um modelo 3D de um objeto físico.

Eles estudaram os desafios da implementação de VLMs existentes para essa tarefa e determinaram que o principal obstáculo que limita suas capacidades é a falta de conjuntos de dados CAD diversificados e de alta qualidade para treiná-los. 

Para remediar isso, eles buscaram criar novos dados para ensinar um modelo a realizar a geração de CAD, usando um processo conhecido como aumento de dados.

Na ampliação de dados, os cientistas normalmente criam novos dados ajustando aleatoriamente os dados existentes para gerar mais amostras, frequentemente alterando a cor, o tamanho e a forma dos objetos nas imagens. 

Em vez disso, os pesquisadores do MIT construíram um sistema de aumento de dados chamado GIFT (sigla para Geometric Inference Feedback Tuning, ou Ajuste de Feedback de Inferência Geométrica) que gera dados projetados para melhorar o desempenho de um VLM para uma tarefa específica.

O GIFT desenvolve uma compreensão dos pontos fortes e fracos do modelo através de testes. Em seguida, utiliza esse conhecimento para gerar dados que possam melhorar o desempenho do modelo nos problemas de geração CAD que ele tem dificuldade em resolver.

“Queremos obter aumento de dados que seja baseado no próprio modelo”, diz Giannone. 

Para isso, o GIFT pede ao modelo que gere código que resolva um problema de geração CAD várias vezes em paralelo. Ele verifica a correção dessas estimativas para entender o quão bem o modelo consegue resolver esse problema.

“Para um modelo, gerar um código de consulta CAD quase  correto não é tão difícil, mas gerar um código perfeitamente correto e executável é muito mais desafiador para um VLM padrão”, diz Giannone.

Para palpites quase corretos, o GIFT os ajusta para se tornarem soluções bem-sucedidas. Ele salva esses "quase acertos" e as soluções bem-sucedidas em um novo conjunto de dados que pode ensinar o modelo a superar problemas que normalmente o impediriam de avançar.

“Se testarmos o modelo 10 vezes e ele gerar 10 respostas corretas para o mesmo problema, então não há muito o que ele possa aprender. O que nos interessa são os casos intermediários, em que o modelo pode resolver o problema apenas em 50% das vezes”, afirma.

O uso desses casos intermediários permite que o GIFT gere aumentos de dados que sejam sensíveis tanto ao modelo quanto à tarefa. Além disso, ao incorporar múltiplas soluções corretas para o mesmo problema, os novos dados expandem o conhecimento geral do modelo sobre a geração de código CAD.

Este sistema automático não requer intervenção humana para corrigir os erros do modelo.

O GIFT cria aumentos de dados a partir de um VLM pré-treinado usando um processo conhecido como escalonamento em tempo de inferência. Esse processo permite que um modelo estático, que já foi treinado, gere melhores resultados sem os altos custos computacionais de treinar novamente todo o modelo. 

Ao utilizar o dimensionamento do tempo de inferência, o usuário pode determinar quanta computação deseja usar para o GIFT, adaptando-a às suas restrições de tempo e orçamento. 

O GIFT superou diversas técnicas concorrentes, gerando programas CAD mais precisos com apenas cerca de 20% do poder computacional. Os modelos CAD gerados pelos VLMs usando GIFT apresentaram melhor alinhamento com as formas dos modelos de referência.

“Com o GIFT, começamos com a geometria porque, em problemas de engenharia, se a geometria de uma forma 3D não estiver correta, nada mais estará correto, mas há muitos outros aspectos a serem considerados”, diz Giannone.

No futuro, os pesquisadores pretendem expandir o GIFT para que a estrutura possa ensinar modelos a gerar programas CAD que melhorem o desempenho e a capacidade de fabricação de modelos 3D. Eles também querem aplicar o sistema a modelos maiores e a tarefas de geração CAD mais diversas.

Esta pesquisa foi financiada, em parte, pelo Laboratório de Pesquisa em Computação MIT-IBM.