Muitos desafios de engenharia se resumem ao mesmo problema: muitos parâmetros para ajustar e poucas oportunidades para testá-los. Seja ajustando uma rede elétrica ou projetando um veículo mais seguro, cada avaliação pode ser dispendiosa e pode haver centenas de variáveis que fazem a diferença.

Considere o projeto de segurança automotiva. Os engenheiros precisam integrar milhares de peças, e muitas escolhas de projeto podem afetar o desempenho de um veículo em uma colisão. As ferramentas clássicas de otimização podem começar a apresentar dificuldades na busca pela melhor combinação.

Pesquisadores do MIT desenvolveram uma nova abordagem que repensa como um método clássico, conhecido como otimização Bayesiana, pode ser usado para resolver problemas com centenas de variáveis. Em testes com benchmarks realistas de engenharia, como a otimização de sistemas de energia, a abordagem encontrou as melhores soluções de 10 a 100 vezes mais rápido do que os métodos amplamente utilizados.

A técnica deles utiliza um modelo base treinado com dados tabulares que identifica automaticamente as variáveis mais importantes para melhorar o desempenho, repetindo o processo para refinar e obter soluções cada vez melhores. Os modelos base são enormes sistemas de inteligência artificial treinados em vastos conjuntos de dados gerais. Isso permite que eles se adaptem a diferentes aplicações.

O modelo de fundação tabular dos pesquisadores não precisa ser constantemente retreinado durante a busca por uma solução, aumentando a eficiência do processo de otimização. A técnica também proporciona ganhos de velocidade significativos para problemas mais complexos, podendo ser especialmente útil em aplicações exigentes como o desenvolvimento de materiais ou a descoberta de fármacos.

“A IA moderna e os modelos de aprendizado de máquina podem mudar fundamentalmente a forma como engenheiros e cientistas criam sistemas complexos. Desenvolvemos um algoritmo que não só resolve problemas de alta dimensionalidade, como também é reutilizável, podendo ser aplicado a diversos problemas sem a necessidade de começar tudo do zero”, afirma Rosen Yu, estudante de pós-graduação em ciência e engenharia da computação e autor principal de um artigo sobre essa técnica .

Yu é acompanhado no artigo por Cyril Picard, ex-pós-doutorando e pesquisador científico do MIT, e Faez Ahmed, professor associado de engenharia mecânica e membro central do Centro de Ciência e Engenharia Computacional do MIT. A pesquisa será apresentada na Conferência Internacional sobre Representações de Aprendizagem.

Quando cientistas buscam solucionar um problema multifacetado, mas dispõem de métodos dispendiosos para avaliar o sucesso, como realizar testes de colisão em um carro para determinar a qualidade de cada projeto, eles frequentemente utilizam um método consagrado chamado otimização Bayesiana. Esse método iterativo encontra a melhor configuração para um sistema complexo, construindo um modelo substituto que ajuda a estimar o que explorar em seguida, levando em consideração a incerteza das previsões.

Mas o modelo substituto precisa ser retreinado após cada iteração, o que pode rapidamente se tornar computacionalmente inviável quando o espaço de soluções potenciais é muito grande. Além disso, os cientistas precisam construir um novo modelo do zero sempre que desejam abordar um cenário diferente.

Para solucionar ambas as deficiências, os pesquisadores do MIT utilizaram um sistema de IA generativa conhecido como modelo de fundação tabular como modelo substituto dentro de um algoritmo de otimização Bayesiana.

“Um modelo de base tabular é como um ChatGPT para planilhas. A entrada e a saída desses modelos são dados tabulares, que no domínio da engenharia são muito mais comuns de se ver e usar do que a linguagem”, diz Yu.

Assim como grandes modelos de linguagem como ChatGPT, Claude e Gemini, o modelo foi pré-treinado em uma enorme quantidade de dados tabulares. Isso o torna bem equipado para lidar com uma variedade de problemas de previsão. Além disso, o modelo pode ser implementado imediatamente, sem a necessidade de qualquer retreinamento.

Para tornar seu sistema mais preciso e eficiente na otimização, os pesquisadores empregaram um truque que permite ao modelo identificar características do espaço de projeto que terão o maior impacto na solução.

Isso é feito utilizando um modelo de base tabular para estimar quais variáveis (ou combinações de variáveis) mais influenciam o resultado.

Em seguida, a busca se concentra nessas variáveis de alto impacto, em vez de perder tempo explorando tudo igualmente. Por exemplo, se o tamanho da zona de deformação frontal aumentasse significativamente e a classificação de segurança do carro melhorasse, esse recurso provavelmente desempenhou um papel na melhoria.

Um dos maiores desafios foi encontrar o melhor modelo de base tabular para essa tarefa, diz Yu. Em seguida, eles tiveram que conectá-lo a um algoritmo de otimização Bayesiana de forma que ele pudesse identificar as características de design mais relevantes.

“Encontrar a dimensão mais proeminente é um problema bem conhecido em matemática e ciência da computação, mas encontrar uma maneira que aproveitasse as propriedades de um modelo de fundação tabular foi um verdadeiro desafio”, diz Yu.

Com a estrutura algorítmica estabelecida, os pesquisadores testaram seu método comparando-o a cinco algoritmos de otimização de última geração.

Em 60 problemas de referência, incluindo situações realistas como projeto de redes elétricas e testes de colisão de automóveis, o método desenvolvido por eles encontrou consistentemente a melhor solução entre 10 e 100 vezes mais rápido do que os outros algoritmos.

“Quando um problema de otimização adquire mais e mais dimensões, nosso algoritmo realmente se destaca”, acrescentou Yu.

Mas o método deles não superou os métodos de referência em todos os problemas, como o planejamento de trajetória robótica. Isso provavelmente indica que o cenário não estava bem definido nos dados de treinamento do modelo, afirma Yu.

No futuro, os pesquisadores pretendem estudar métodos que possam melhorar o desempenho dos modelos de fundações tabulares. Eles também querem aplicar sua técnica a problemas com milhares ou até milhões de dimensões, como o projeto de um navio de guerra.

“Em um nível mais elevado, este trabalho aponta para uma mudança mais ampla: usar modelos fundamentais não apenas para percepção ou linguagem, mas como motores algorítmicos dentro de ferramentas científicas e de engenharia, permitindo que métodos clássicos como a otimização Bayesiana sejam escaláveis para regimes que antes eram impraticáveis”, diz Ahmed.

“A abordagem apresentada neste trabalho, que utiliza um modelo base pré-treinado juntamente com otimização Bayesiana de alta dimensão, é uma maneira criativa e promissora de reduzir a grande quantidade de dados necessária para o projeto baseado em simulação. No geral, este trabalho representa um passo prático e importante para tornar a otimização de projeto avançada mais acessível e fácil de aplicar em situações reais”, afirma Wei Chen, professor titular da Cátedra Wilson-Cook de Projeto de Engenharia e chefe do Departamento de Engenharia Mecânica da Universidade Northwestern, que não participou desta pesquisa.