Tecnologia Científica

Como os hackers podem 'envenenar' o código-fonte aberto
Os pesquisadores descobriram que as implicações desses tipos de hacks - que eles chamam de
Por Adam Conner-Simons - 14/08/2021


Domínio público

Os pesquisadores da Cornell Tech descobriram um novo tipo de ataque online que pode manipular sistemas de modelagem de linguagem natural e evitar qualquer defesa conhecida - com possíveis consequências que vão desde a modificação de resenhas de filmes até a manipulação de modelos de aprendizado de máquina de bancos de investimento para ignorar a cobertura de notícias negativas que afetariam ações de uma empresa específica.

Em um novo artigo, os pesquisadores descobriram que as implicações desses tipos de hacks - que eles chamam de "envenenamento de código" - têm amplo alcance para tudo, desde negociação algorítmica até notícias falsas e propaganda.

"Com muitas empresas e programadores usando modelos e códigos de sites de código aberto na internet, esta pesquisa mostra como é importante revisar e verificar esses materiais antes de integrá-los ao seu sistema atual", disse Eugene Bagdasaryan, doutorando em Cornell Técnico e autor principal de "Blind Backdoors in Deep Learning Models", que foi apresentado em 12 de agosto na conferência virtual USENIX Security '21. O coautor é Vitaly Shmatikov, professor de ciência da computação na Cornell and Cornell Tech.

"Se os hackers conseguirem implementar o envenenamento de código", disse Bagdasaryan, "eles poderiam manipular modelos que automatizam as cadeias de suprimentos e propaganda, bem como a triagem de currículos e a exclusão de comentários tóxicos."

Sem qualquer acesso ao código ou modelo original, esses ataques de backdoor podem carregar código malicioso para sites de código aberto usados ​​frequentemente por muitas empresas e programadores.

Ao contrário dos ataques adversários, que exigem conhecimento do código e do modelo para fazer modificações, os ataques de backdoor permitem que o hacker tenha um grande impacto, sem realmente ter que modificar diretamente o código e os modelos.

"Com os ataques anteriores, o invasor deve acessar o modelo ou os dados durante o treinamento ou implantação, o que requer a penetração da infraestrutura de aprendizado de máquina da vítima", disse Shmatikov. "Com este novo ataque, o ataque pode ser feito com antecedência, antes mesmo de o modelo existir ou antes mesmo de os dados serem coletados - e um único ataque pode realmente ter como alvo várias vítimas."

O novo artigo investiga o método de injeção de backdoors em modelos de aprendizado de máquina, com base no comprometimento do cálculo do valor de perda no código de treinamento do modelo. A equipe usou um modelo de análise de sentimento para a tarefa específica de sempre classificar como positivas todas as críticas dos filmes infames dirigidos por Ed Wood.

Este é um exemplo de backdoor semântico que não exige que o invasor modifique a entrada no momento da inferência. A porta dos fundos é acionada por comentários não modificados escritos por qualquer pessoa, desde que mencionem o nome escolhido pelo invasor.

Como os "envenenadores" podem ser interrompidos? A equipe de pesquisa propôs uma defesa contra ataques de backdoor com base na detecção de desvios do código original do modelo. Mas mesmo assim, a defesa ainda pode ser evitada.

Shmatikov disse que o trabalho demonstra que o truísmo frequentemente repetido, "Não acredite em tudo que você encontra na Internet", se aplica igualmente ao software.

“Devido ao quão populares as tecnologias de IA e aprendizado de máquina se tornaram, muitos usuários não especialistas estão construindo seus modelos usando um código que eles mal entendem”, disse ele. "Mostramos que isso pode ter consequências devastadoras para a segurança."

Para trabalhos futuros, a equipe planeja explorar como o envenenamento de código se conecta ao resumo e até mesmo automatizando a propaganda, o que pode ter implicações maiores para o futuro do hacking.

Shmatikov disse que também trabalhará para desenvolver defesas robustas que "eliminarão toda essa classe de ataques e tornarão a IA e o aprendizado de máquina seguros, mesmo para usuários não experientes".

 

.
.

Leia mais a seguir