Os pesquisadores da Cornell Tech descobriram um novo tipo de ataque online que pode manipular sistemas de modelagem de linguagem natural e evitar qualquer defesa conhecida - com possa­veis consequaªncias que va£o desde a modificação de resenhas de filmes atéa manipulação de modelos de aprendizado de ma¡quina de bancos de investimento para ignorar a cobertura de nota­cias negativas que afetariam ações de uma empresa especa­fica.

Em um novo artigo, os pesquisadores descobriram que as implicações desses tipos de hacks - que eles chamam de "envenenamento de ca³digo" - tem amplo alcance para tudo, desde negociação algora­tmica aténota­cias falsas e propaganda.

"Com muitas empresas e programadores usando modelos e ca³digos de sites de ca³digo aberto na internet, esta pesquisa mostra como éimportante revisar e verificar esses materiais antes de integra¡-los ao seu sistema atual", disse Eugene Bagdasaryan, doutorando em Cornell Tanãcnico e autor principal de "Blind Backdoors in Deep Learning Models", que foi apresentado em 12 de agosto na conferaªncia virtual USENIX Security '21. O coautor éVitaly Shmatikov, professor de ciência da computação na Cornell and Cornell Tech.

"Se os hackers conseguirem implementar o envenenamento de ca³digo", disse Bagdasaryan, "eles poderiam manipular modelos que automatizam as cadeias de suprimentos e propaganda, bem como a triagem de curra­culos e a exclusão de comenta¡rios ta³xicos."

Sem qualquer acesso ao ca³digo ou modelo original, esses ataques de backdoor podem carregar ca³digo malicioso para sites de ca³digo aberto usados ​​frequentemente por muitas empresas e programadores.

Ao contra¡rio dos ataques adversa¡rios, que exigem conhecimento do ca³digo e do modelo para fazer modificações, os ataques de backdoor permitem que o hacker tenha um grande impacto, sem realmente ter que modificar diretamente o ca³digo e os modelos.

"Com os ataques anteriores, o invasor deve acessar o modelo ou os dados durante o treinamento ou implantação, o que requer a penetração da infraestrutura de aprendizado de ma¡quina da va­tima", disse Shmatikov. "Com este novo ataque, o ataque pode ser feito com antecedaªncia, antes mesmo de o modelo existir ou antes mesmo de os dados serem coletados - e um aºnico ataque pode realmente ter como alvo várias vitimas."

O novo artigo investiga o manãtodo de injeção de backdoors em modelos de aprendizado de ma¡quina, com base no comprometimento do ca¡lculo do valor de perda no ca³digo de treinamento do modelo. A equipe usou um modelo de análise de sentimento para a tarefa especa­fica de sempre classificar como positivas todas as cra­ticas dos filmes infames dirigidos por Ed Wood.

Este éum exemplo de backdoor sema¢ntico que não exige que o invasor modifique a entrada no momento da inferaªncia. A porta dos fundos éacionada por comenta¡rios não modificados escritos por qualquer pessoa, desde que mencionem o nome escolhido pelo invasor.

Como os "envenenadores" podem ser interrompidos? A equipe de pesquisa propa´s uma defesa contra ataques de backdoor com base na detecção de desvios do ca³digo original do modelo. Mas mesmo assim, a defesa ainda pode ser evitada.

Shmatikov disse que o trabalho demonstra que o trua­smo frequentemente repetido, "Nãoacredite em tudo que vocêencontra na Internet", se aplica igualmente ao software.

“Devido ao quanto populares as tecnologias de IA e aprendizado de ma¡quina se tornaram, muitos usuários não especialistas estãoconstruindo seus modelos usando um ca³digo que eles mal entendem”, disse ele. "Mostramos que isso pode ter consequaªncias devastadoras para a segurança."

Para trabalhos futuros, a equipe planeja explorar como o envenenamento de ca³digo se conecta ao resumo e atémesmo automatizando a propaganda, o que pode ter implicações maiores para o futuro do hacking.

Shmatikov disse que também trabalhara¡ para desenvolver defesas robustas que "eliminara£o toda essa classe de ataques e tornara£o a IA e o aprendizado de ma¡quina seguros, mesmo para usuários não experientes".