Tecnologia Científica

Usando inteligaªncia artificial para encontrar anomalias escondidas em grandes conjuntos de dados
Uma nova técnica de aprendizado de ma¡quina pode identificar possa­veis falhas na rede elanãtrica ou gargalos de tra¡fego em cascata em tempo real.
Por Adam Zewe - 02/03/2022


Uma nova técnica de aprendizado de ma¡quina pode identificar possa­veis falhas na rede elanãtrica e gargalos de tra¡fego em cascata, em tempo real. Imagem: banco de imagens

Identificar um defeito na rede elanãtrica dopaís pode ser como tentar encontrar uma agulha em um enorme palheiro. Centenas de milhares de sensores inter-relacionados espalhados pelos EUA capturam dados sobre corrente elanãtrica, voltagem e outras informações cra­ticas em tempo real, geralmente fazendo várias gravações por segundo.

Pesquisadores do MIT-IBM Watson AI Lab desenvolveram um manãtodo computacionalmente eficiente que pode identificar automaticamente anomalias nesses fluxos de dados em tempo real. Eles demonstraram que seu manãtodo de inteligaªncia artificial, que aprende a modelar a interconexão da rede elanãtrica, émuito melhor na detecção dessas falhas do que algumas outras técnicas populares.

Como o modelo de aprendizado de ma¡quina desenvolvido por eles não requer dados anotados sobre anomalias da rede elanãtrica para treinamento, seria mais fa¡cil aplicar em situações do mundo real em que conjuntos de dados rotulados de alta qualidade geralmente são difa­ceis de encontrar. O modelo também éflexa­vel e pode ser aplicado a outras situações em que um grande número de sensores interconectados coleta e relata dados, como sistemas de monitoramento de tra¡fego. Poderia, por exemplo, identificar gargalos de tra¡fego ou revelar como os engarrafamentos se espalham.

“No caso de uma rede elanãtrica, as pessoas tentaram capturar os dados usando estata­sticas e depois definir regras de detecção com conhecimento de doma­nio para dizer que, por exemplo, se a tensão aumentar em um determinado percentual, o operador da rede deve ser alertado. Esses sistemas baseados em regras, mesmo capacitados por análise de dados estata­sticos, exigem muito trabalho e experiência. Mostramos que podemos automatizar esse processo e também aprender padraµes dos dados usando técnicas avana§adas de aprendizado de ma¡quina”, diz o autor saªnior Jie Chen, membro da equipe de pesquisa e gerente do MIT-IBM Watson AI Lab.

A coautora éEnyan Dai, estagia¡ria do MIT-IBM Watson AI Lab e estudante de pós-graduação na Pennsylvania State University. Esta pesquisa seráapresentada na Conferência Internacional sobre Representações de Aprendizagem.

Probabilidades de sondagem

Os pesquisadores começam definindo uma anomalia como um evento que tem uma baixa probabilidade de ocorrer, como um pico repentino de voltagem. Eles tratam os dados da rede elanãtrica como uma distribuição de probabilidade, portanto, se puderem estimar as densidades de probabilidade, podera£o identificar os valores de baixa densidade no conjunto de dados. Os pontos de dados que são menos prova¡veis ​​de ocorrer correspondem a anomalias.

Estimar essas probabilidades não étarefa fa¡cil, especialmente porque cada amostra captura várias sanãries temporais e cada sanãrie temporal éum conjunto de pontos de dados multidimensionais registrados ao longo do tempo. Além disso, os sensores que capturam todos esses dados são condicionais uns aos outros, o que significa que estãoconectados em uma determinada configuração e um sensor a s vezes pode afetar outros.

Para aprender a complexa distribuição de probabilidade condicional dos dados, os pesquisadores usaram um tipo especial de modelo de aprendizado profundo chamado fluxo normalizador, que éparticularmente eficaz na estimativa da densidade de probabilidade de uma amostra.

Eles aumentaram esse modelo de fluxo normalizador usando um tipo de gra¡fico, conhecido como rede Bayesiana, que pode aprender a estrutura complexa de relacionamento causal entre diferentes sensores. Essa estrutura gra¡fica permite que os pesquisadores vejam padraµes nos dados e estimem anomalias com mais precisão, explica Chen.

“Os sensores estãointeragindo uns com os outros e tem relações causais e dependem um do outro. Portanto, temos que ser capazes de injetar essas informações de dependaªncia na maneira como calculamos as probabilidades”, diz ele.

Essa rede bayesiana fatora ou decompaµe a probabilidade conjunta dos dados de várias sanãries temporais em probabilidades condicionais menos complexas que são muito mais fa¡ceis de parametrizar, aprender e avaliar. Isso permite que os pesquisadores estimem a probabilidade de observar determinadas leituras do sensor e identifiquem as leituras que tem baixa probabilidade de ocorrer, o que significa que são anomalias.

Seu manãtodo éespecialmente poderoso porque essa estrutura de gra¡fico complexa não precisa ser definida antecipadamente - o modelo pode aprender o gra¡fico por conta própria, de maneira não supervisionada.

Uma técnica poderosa

Eles testaram essa estrutura vendo como ela poderia identificar anomalias nos dados da rede elanãtrica, dados de tra¡fego e dados do sistema de a¡gua. Os conjuntos de dados que eles usaram para testar continham anomalias que haviam sido identificadas por humanos, então os pesquisadores puderam comparar as anomalias que seu modelo identificou com falhas reais em cada sistema.

Seu modelo superou todas as linhas de base ao detectar uma porcentagem maior de anomalias verdadeiras em cada conjunto de dados.

“Para as linhas de base, muitas delas não incorporam estrutura gra¡fica. Isso corrobora perfeitamente nossa hipa³tese. Descobrir as relações de dependaªncia entre os diferentes nosno gra¡fico estãodefinitivamente nos ajudando”, diz Chen.

Sua metodologia também éflexa­vel. Armados com um grande conjunto de dados não rotulado, eles podem ajustar o modelo para fazer previsaµes de anomalias eficazes em outras situações, como padraµes de tra¡fego.

Depois que o modelo for implantado, ele continuara¡ aprendendo com um fluxo constante de novos dados do sensor, adaptando-se a possa­veis desvios da distribuição de dados e mantendo a precisão ao longo do tempo, diz Chen.

Embora este projeto em particular esteja perto de seu fim, ele espera aplicar as lições que aprendeu em outras áreas de pesquisa de aprendizado profundo, principalmente em gra¡ficos.

Chen e seus colegas poderiam usar essa abordagem para desenvolver modelos que mapeiam outras relações condicionais complexas. Eles também querem explorar como podem aprender com eficiência esses modelos quando os gra¡ficos se tornam enormes, talvez com milhões ou bilhaµes de nosinterconectados. E, em vez de encontrar anomalias, eles também podem usar essa abordagem para melhorar a precisão das previsaµes com base em conjuntos de dados ou simplificar outras técnicas de classificação.

Este trabalho foi financiado pelo MIT-IBM Watson AI Lab e pelo Departamento de Energia dos EUA.

 

.
.

Leia mais a seguir