Até recentemente, usar IA para análise de dados geralmente significava treinar seu próprio modelo. Isso exige um esforço considerável para coletar e anotar um conjunto de dados de treinamento representativo, bem como treinar e validar modelos iterativamente. Também é necessário um certo nível de conhecimento técnico para executar e modificar o código de treinamento de IA. No entanto, a forma como as pessoas interagem com a IA está mudando — em particular, agora existem milhões de modelos pré-treinados disponíveis publicamente que podem executar uma variedade de tarefas preditivas muito bem. Isso permite que as pessoas usem IA para analisar seus dados sem desenvolver seu próprio modelo, simplesmente baixando um modelo existente com os recursos de que precisam. Mas isso apresenta um novo desafio: qual modelo, dentre os milhões disponíveis, deve ser usado para analisar os dados? 

Normalmente, responder a essa questão de seleção de modelo também exige muito tempo gasto na coleta e anotação de um grande conjunto de dados, embora para testar modelos em vez de treiná-los. Isso é especialmente verdadeiro para aplicações reais, onde as necessidades do usuário são específicas, as distribuições de dados são desbalanceadas e estão em constante mudança, e o desempenho do modelo pode ser inconsistente entre as amostras. Nosso objetivo com o CODA foi reduzir substancialmente esse esforço. Fazemos isso tornando o processo de anotação de dados "ativo". Em vez de exigir que os usuários anotem em massa um grande conjunto de dados de teste de uma só vez, na seleção ativa de modelos, tornamos o processo interativo, guiando os usuários a anotar os pontos de dados mais informativos em seus dados brutos. Isso é notavelmente eficaz, muitas vezes exigindo que os usuários anotem apenas 25 exemplos para identificar o melhor modelo em seu conjunto de candidatos. 

Estamos muito entusiasmados com a CODA, que oferece uma nova perspectiva sobre como melhor utilizar o esforço humano no desenvolvimento e implantação de sistemas de aprendizado de máquina (ML). À medida que os modelos de IA se tornam mais comuns, nosso trabalho enfatiza o valor de concentrar esforços em fluxos de avaliação robustos, em vez de focar apenas no treinamento.

Uma descoberta fundamental foi que, ao considerar um conjunto de modelos de IA candidatos, o consenso de todas as suas previsões é mais informativo do que as previsões de qualquer modelo individual. Isso pode ser visto como uma espécie de "sabedoria das multidões": em média, reunir os votos de todos os modelos fornece uma boa noção prévia sobre quais deveriam ser os rótulos dos pontos de dados individuais no seu conjunto de dados bruto. Nossa abordagem com o CODA se baseia na estimativa de uma "matriz de confusão" para cada modelo de IA — dado que o rótulo verdadeiro para um determinado ponto de dados é a classe X, qual é a probabilidade de um modelo individual prever a classe X, Y ou Z? Isso cria dependências informativas entre todos os modelos candidatos, as categorias que você deseja rotular e os pontos não rotulados no seu conjunto de dados.

Considere um exemplo de aplicação em que você é um ecologista da vida selvagem que acabou de coletar um conjunto de dados contendo potencialmente centenas de milhares de imagens de câmeras instaladas na natureza. Você quer saber quais espécies estão nessas imagens, uma tarefa demorada que classificadores de visão computacional podem ajudar a automatizar. Você está tentando decidir qual modelo de classificação de espécies executar em seus dados. Se você já rotulou 50 imagens de tigres e algum modelo teve um bom desempenho nessas 50 imagens, você pode ter bastante confiança de que ele também terá um bom desempenho no restante das imagens de tigres (atualmente não rotuladas) em seu conjunto de dados bruto. Você também sabe que, quando esse modelo prevê que uma imagem contém um tigre, é provável que esteja correto e, portanto, que qualquer modelo que preveja um rótulo diferente para essa imagem tem maior probabilidade de estar errado. Você pode usar todas essas interdependências para construir estimativas probabilísticas da matriz de confusão de cada modelo, bem como uma distribuição de probabilidade sobre qual modelo tem a maior precisão no conjunto de dados geral. Essas escolhas de design nos permitem fazer escolhas mais informadas sobre quais pontos de dados rotular e, em última análise, são a razão pela qual o CODA realiza a seleção de modelos de forma muito mais eficiente do que trabalhos anteriores.

Existem também muitas possibilidades interessantes para expandir nosso trabalho. Acreditamos que possam existir maneiras ainda melhores de construir informações prévias relevantes para a seleção de modelos com base no conhecimento do domínio — por exemplo, se já se sabe que um modelo tem um desempenho excepcional em um subconjunto de classes ou um desempenho ruim em outras. Há também oportunidades para estender a estrutura para suportar tarefas de aprendizado de máquina mais complexas e modelos probabilísticos de desempenho mais sofisticados. Esperamos que nosso trabalho possa servir de inspiração e ponto de partida para que outros pesquisadores continuem a impulsionar o estado da arte.

O laboratório é um lugar realmente empolgante para trabalhar, e novos projetos surgem o tempo todo. Temos projetos em andamento monitorando recifes de coral com drones, reidentificando elefantes individualmente ao longo do tempo e fundindo dados multimodais de observação da Terra de satélites e câmeras in situ, só para citar alguns exemplos. De forma geral, analisamos tecnologias emergentes para o monitoramento da biodiversidade e tentamos entender onde estão os gargalos na análise de dados, desenvolvendo novas abordagens de visão computacional e aprendizado de máquina que solucionem esses problemas de maneira amplamente aplicável. É uma maneira empolgante de abordar problemas que visa as "metaquestões" subjacentes aos desafios de dados específicos que enfrentamos. 

Os algoritmos de visão computacional em que trabalhei, que contam salmões migratórios em vídeos de sonar subaquático, são exemplos desse trabalho. Frequentemente lidamos com distribuições de dados variáveis, mesmo quando tentamos construir os conjuntos de dados de treinamento mais diversos possíveis. Sempre nos deparamos com algo novo ao implantar uma nova câmera, e isso tende a degradar o desempenho dos algoritmos de visão computacional. Este é um exemplo de um problema geral em aprendizado de máquina chamado adaptação de domínio, mas quando tentamos aplicar algoritmos de adaptação de domínio existentes aos nossos dados de pesca, percebemos que havia sérias limitações em como os algoritmos existentes eram treinados e avaliados. Conseguimos desenvolver uma nova estrutura de adaptação de domínio,  publicada no início deste ano no  periódico Transactions on Machine Learning Research , que abordou essas limitações e levou a avanços na contagem de peixes e até mesmo na análise de veículos autônomos e espaçonaves.

Uma linha de pesquisa que me entusiasma particularmente é a de como desenvolver e analisar melhor o desempenho de algoritmos preditivos de aprendizado de máquina no contexto de sua aplicação real. Normalmente, os resultados de um algoritmo de visão computacional — por exemplo, delimitar áreas ao redor de animais em imagens — não são o que realmente interessa às pessoas, mas sim um meio para um fim, visando solucionar um problema maior — como, por exemplo, quais espécies vivem aqui e como isso está mudando ao longo do tempo? Temos trabalhado em métodos para analisar o desempenho preditivo nesse contexto e repensar as formas como incorporamos o conhecimento humano em sistemas de aprendizado de máquina, levando isso em consideração. O CODA foi um exemplo disso, onde demonstramos que podemos considerar os próprios modelos de aprendizado de máquina como fixos e construir uma estrutura estatística para compreender seu desempenho de forma muito eficiente. Recentemente, temos trabalhado em análises integradas semelhantes, combinando previsões de aprendizado de máquina com fluxos de previsão em múltiplos estágios, bem como modelos estatísticos ecológicos. 

O mundo natural está mudando em ritmos e escalas sem precedentes, e a capacidade de passar rapidamente de hipóteses científicas ou questões de gestão para respostas baseadas em dados é mais importante do que nunca para proteger os ecossistemas e as comunidades que dependem deles. Os avanços em IA podem desempenhar um papel importante, mas precisamos pensar criticamente sobre as maneiras como projetamos, treinamos e avaliamos algoritmos no contexto desses desafios muito reais.