Tecnologia Científica

O MuZero da DeepMind conquista e aprende as regras enquanto faz
Albert Einstein disse uma vez:
Por Peter Grad - 24/12/2020


Crédito: Unsplash 

Albert Einstein disse uma vez: "Você tem que aprender as regras do jogo e, então, jogar melhor do que ninguém." Esse bem poderia ser o lema da DeepMind, já que um novo relatório revela que ela desenvolveu um programa que pode dominar jogos complexos sem nem mesmo conhecer as regras.

DeepMind, uma subsidiária da Alphabet, já fez avanços inovadores usando o aprendizado de reforço para ensinar programas para dominar o jogo de tabuleiro chinês Go e o jogo de estratégia japonês Shogi, bem como xadrez e videogames desafiadores Atari. Em todos esses casos, os computadores receberam as regras do jogo.

Mas a Nature relatou hoje que o MuZero da DeepMind realizou as mesmas façanhas - e em alguns casos, superou os programas anteriores - sem primeiro aprender as regras.

Os programadores da DeepMind se baseavam em um princípio chamado "pesquisa antecipada". Com essa abordagem, MuZero avalia uma série de movimentos potenciais com base em como um oponente responderia. Embora provavelmente haja um número impressionante de movimentos potenciais em jogos complexos como o xadrez, MuZero prioriza as manobras mais relevantes e mais prováveis, aprendendo com as manobras bem-sucedidas e evitando aquelas que falharam.

Ao atuar contra Pac-Man da Atari, MuZero se restringiu a considerar apenas seis ou sete movimentos futuros em potencial, mas ainda assim teve um desempenho admirável, de acordo com os pesquisadores.

"Pela primeira vez, temos realmente um sistema que é capaz de construir sua própria compreensão de como o mundo funciona e usar essa compreensão para fazer esse tipo de planejamento sofisticado que você viu anteriormente para jogos como o xadrez", disse o principal cientista pesquisador da DeepMind, David Silver. MuZero pode "começar do nada, e apenas por tentativa e erro, descobrir as regras do mundo e usar essas regras para alcançar um tipo de desempenho sobre-humano."

Silver prevê maiores aplicações para MuZero do que meros jogos. Progresso já foi feito na compressão de vídeo, uma tarefa desafiadora considerando o grande número de formatos de vídeo variados e vários modos de compressão. Até agora, eles conseguiram uma melhoria de 5% na compressão, um feito nada pequeno para a empresa do Google, que também lida com o gigantesco cache de vídeos no segundo site mais popular do mundo, o YouTube, onde um bilhão de horas de conteúdo estão visto diariamente. (O site nº 1? Google.)

Silver diz que o laboratório também está estudando programação de robótica e design de arquitetura de proteínas, que promete a produção personalizada de medicamentos.
 
É um "avanço significativo", de acordo com Wendy Hall, professora de ciência da computação da Universidade de Southampton e membro do conselho de IA da Inglaterra. “Os resultados do trabalho da DeepMind são bastante surpreendentes e fico maravilhada com o que eles serão capazes de alcançar no futuro, dados os recursos de que dispõem”, disse ela.

Mas ela também levantou uma preocupação sobre o potencial de abuso. "Minha preocupação é que, embora se esforcem constantemente para melhorar o desempenho de seus algoritmos e aplicar os resultados para o benefício da sociedade, as equipes da DeepMind não estão colocando tanto esforço em pensar nas possíveis consequências não intencionais de seu trabalho", disse ela.

Na verdade, a Força Aérea dos Estados Unidos aproveitou os primeiros documentos de pesquisa cobrindo o MuZero que foram divulgados no ano passado e usou as informações para projetar um sistema de IA que pudesse lançar mísseis de um avião espião U-2 contra alvos específicos.

Quando questionado pela Wired sobre o que ele acha dessas aplicações militares, Silver não deixou dúvidas sobre suas preocupações.

"Eu me oponho ao uso de IA em qualquer arma mortal e gostaria que tivéssemos feito mais progressos em direção ao banimento de armas autônomas letais", disse ele. Ele acrescentou que DeepMind e seus co-fundadores assinaram o Compromisso de Armas Autônomas Letais, que afirma a crença de que a tecnologia mortal deve sempre permanecer sob controle humano, e não algoritmos baseados em IA.

Silver diz que os desafios que temos pela frente são entender e implementar algoritmos tão eficazes e poderosos quanto o cérebro humano. "Devíamos ter como objetivo alcançar isso. O primeiro passo para fazer essa jornada é tentar entender o que significa alcançar inteligência", disse ele. "Achamos que isso realmente importa para enriquecer o que a IA pode realmente fazer porque o mundo é um lugar bagunçado. É desconhecido - ninguém nos dá este livro de regras incrível que diz: 'Oh, é exatamente assim que o mundo funciona'", disse Silver. "Se quisermos que nossa IA vá para o mundo e seja capaz de planejar e olhar para frente em problemas onde ninguém nos dá o livro de regras, realmente precisamos disso."

 

.
.

Leia mais a seguir