R: Ambos os sistemas são altamente complexos e nossas ferramentas clássicas de modelagem são lamentavelmente insuficientes. A integração de veículos autônomos em nossos sistemas de mobilidade existentes num grande empreendimento. Por exemplo, não sabemos se os veículos autônomos reduzirão o uso de energia em 40% ou o dobrarão. Precisamos de ferramentas mais poderosas para superar a incerteza. Minha tese de doutorado em Berkeley tentou fazer isso. Desenvolvi métodos de otimização escalonáveis nas áreas de controle de robôs, estimativa de estado e projeto de sistema. Esses métodos podem ajudar os tomadores de decisão a antecipar cenários futuros e projetar sistemas melhores para acomodar humanos e robôs.

R: Eu fiz o curso de aprendizagem por reforço de John Schulman e Pieter Abbeel em Berkeley em 2015, logo após a Deepmind publicar seu artigo inovador na Nature . Eles treinaram um agente por meio de aprendizado profundo e aprendizado por reforço para jogar "Space Invaders" e um conjunto de jogos Atari em níveis sobre-humanos. Isso criou um burburinho. Um ano depois, comecei a incorporar o aprendizado de reforço em problemas envolvendo sistemas de tráfego misto, nos quais apenas alguns carros são automatizados. Percebi que as técnicas clássicas de controle não podiam lidar com os complexos problemas de controle não linear que eu estava formulando.

O Deep RL agora popular, mas de forma alguma difundido na roba³tica, que ainda depende fortemente de métodos clássicos de controle e planejamento baseados em modelos. O aprendizado profundo continua a ser importante para o processamento de dados brutos do sensor, como imagens de câmeras e ondas de rádio, e o aprendizado por reforço estão sendo gradualmente incorporado. Vejo os sistemas de tráfego como sistemas multi-robôs gigantescos. Estou animado para uma futura colaboração com o Departamento de Transporte de Utah para aplicar o aprendizado de reforço para coordenar os carros com os semáforos, reduzindo o congestionamento e, portanto, as emissões de carbono.

UMA: A mentalidade. Que problemas que parecem complicados podem ser analisados com ferramentas comuns e, a s vezes, simples. Os sinais são transformados por sistemas de várias maneiras, mas o que esses termos abstratos significam, afinal? Um sistema mecânico pode receber um sinal como engrenagens girando em alguma velocidade e transformá-lo em uma alavanca girando em outra velocidade. Um sistema digital pode pegar dígitos binários e transformá-los em outros dígitos binários ou em uma sequência de letras ou uma imagem. Os sistemas financeiros podem pegar as notícias e transformá-las por meio de milhões de decisões de negociação em preços de ações. As pessoas recebem sinais todos os dias por meio de anúncios, ofertas de emprego, fofocas e assim por diante, e os traduzem em ações que, por sua vez, influenciam a sociedade e outras pessoas. Esta humilde aula sobre sinais e sistemas ligados mecânicos, digitais,

R: Este projeto envolve atribuir robôs a uma determinada tarefa e encaminhá-los para lA. A equipe de Cynthia Barnhart estão focada na atribuição de tarefas, e a minha, no planejamento de caminhos. Ambos os problemas são considerados problemas de otimização combinata³ria porque a solução envolve uma combinação de escolhas. Conforme o número de tarefas e robôs aumenta, o número de soluções possíveis cresce exponencialmente. a‰ a chamada maldição da dimensionalidade. Ambos os problemas são o que chamamos de NP Hard; pode não haver um algoritmo eficiente para resolvê-los. Nosso objetivo é criar um atalho.

Rotear um único robô´ para uma única tarefa não difícil. E como usar o Google Maps para encontrar o caminho mais curto para casa. Ele pode ser resolvido de forma eficiente com vários algoritmos, incluindo o de Dijkstra. Mas os armazanãns parecem pequenas cidades com centenas de robôs. Quando ocorrem engarrafamentos, os clientes não conseguem obter seus pacotes tão rapidamente. Nosso objetivo é desenvolver algoritmos que encontrem os caminhos mais eficientes para todos os robôs.

R: Sim. Os algoritmos que testamos nos armazas da Amazon podem um dia ajudar a aliviar o congestionamento em cidades reais. Outras aplicações potenciais incluem o controle de aviões em pistas, enxames de drones no ar e até mesmo personagens em videogames. Esses algoritmos também podem ser usados para outras tarefas de planejamento roba³tico, como agendamento e roteamento.

R: Eu gostaria de ver o aprendizado profundo e RL profundos usados para resolver problemas sociais envolvendo mobilidade, infraestrutura, mí­dia social, saúde e educação. O Deep RL agora tem influência na roba³tica e em aplicações industriais, como design de chips, mas ainda precisamos ter cuidado ao aplicá-lo a sistemas com humanos no circuito. Em última análise, queremos projetar sistemas para as pessoas. Atualmente, simplesmente não temos as ferramentas certas.

R: A IA tem um potencial tremendo para o bem, mas também pode ajudar a acelerar o fosso cada vez maior entre quem tem e quem não tem. Nossos sistemas político e regulata³rios podem ajudar a integrar a IA na sociedade e minimizar as perdas de empregos e a desigualdade de renda, mas me preocupa que eles ainda não estejam equipados para lidar com a mangueira de incêndio da IA.

R: " Como evitar um desastre climático", de Bill Gates. Eu simplesmente amei a maneira como Gates foi capaz de pegar um ta³pico extremamente complexo e resumi-lo em palavras que todos podem entender. Seu otimismo me inspira a continuar pressionando os aplicativos de IA e roba³tica para ajudar a evitar um desastre climático.