Nãomuito tempo atrás, assistir a um filme em um smartphone parecia impossí­vel. Vivienne Sze era estudante de graduação no MIT na anãpoca, em meados dos anos 2000, e foi atraa­da pelo desafio de compactar va­deo para manter a qualidade da imagem alta sem esgotar a bateria do telefone. A solução que ela encontrou exigia o coprojeto de circuitos de eficiência energanãtica com algoritmos de eficiência energanãtica.

Sze faria parte da equipe que ganhou o Praªmio Emmy de Engenharia por desenvolver os padraµes de compressão de va­deo ainda em uso hoje. Agora uma professora associada do Departamento de Engenharia Elanãtrica e Ciência da Computação do MIT, Sze tem como objetivo um novo marco: trazer aplicativos de inteligaªncia artificial para smartphones e pequenos robôs.

Sua pesquisa se concentra em projetar redes neurais profundas mais eficientes para processar va­deo e hardware mais eficiente para executar esses aplicativos. Recentemente, ela copublicou um livro sobre o assunto e ministrara¡ um curso de educação profissional sobre como projetar sistemas eficientes de aprendizado profundo em junho.

Em 29 de abril, Sze se juntara¡ ao professor assistente Song Han para uma mesa redonda do MIT Quest AI sobre o codesign de hardware e software eficiente moderado por Aude Oliva, diretor do MIT Quest Corporate e o diretor do MIT do MIT-IBM Watson AI Lab. Aqui, Sze discute seu trabalho recente.

R: Os aplicativos de IA estãomudando para smartphones, pequenos robôs e aparelhos e outros dispositivos conectados a  Internet com capacidade limitada de potaªncia e processamento. O desafio éque a IA possui altos requisitos de computação. Analisar os dados do sensor e da ca¢mera de um carro auta´nomo pode consumir cerca de 2.500 watts, mas o ora§amento de computação de um smartphone éde apenas um watt. Fechar essa lacuna exige repensar toda a pilha, uma tendaªncia que definira¡ a próxima década da IA.

Isso significa que o processamento de dados não precisa mais ocorrer na “nuvem”, em racks de servidores de warehouse. Desconectar a computação da nuvem nos permite ampliar o alcance da IA. Ele da¡ a s pessoas empaíses em desenvolvimento com acesso limitado a  infraestrutura de comunicação a  IA. Ele também acelera o tempo de resposta, reduzindo o atraso causado pela comunicação com servidores distantes. Isso écrucial para aplicativos interativos como navegação auta´noma e realidade aumentada, que precisam responder instantaneamente a smudanças nas condições. O processamento de dados no dispositivo também pode proteger registros médicos e outros registros confidenciais. Os dados podem ser processados ​​exatamente onde são coletados.

A pedra angular da IA ​​moderna - redes neurais profundas - pode exigir centenas de milhões a bilhaµes de ca¡lculos - ordens de magnitude maiores do que compactar va­deo em um smartphone. Mas não éapenas a análise de números que faz com que as redes profundas consumam muita energia - éo custo de embaralhar os dados de e para a memória para realizar esses ca¡lculos. Quanto mais longe os dados precisam viajar, e quanto mais dados houver, maior seráo gargalo.

Nosso foco éreduzir a movimentação de dados e a quantidade de dados necessa¡ria para o ca¡lculo. Em algumas redes profundas, os mesmos dados são usados ​​várias vezes para ca¡lculos diferentes. Projetamos hardware especializado para reutilizar dados localmente, em vez de envia¡-los fora do chip. O armazenamento de dados reutilizados no chip torna o processo extremamente eficiente em termos de energia.  

Tambanãm otimizamos a ordem em que os dados são processados ​​para maximizar sua reutilização. Essa éa principal propriedade do chip Eyeriss que foi desenvolvido em colaboração com Joel Emer. Em nosso trabalho de acompanhamento, Eyeriss v2 , tornamos o chip flexa­vel o suficiente para reutilizar dados em uma ampla gama de redes profundas. O chip Eyeriss também usa compactação para reduzir a movimentação de dados, uma ta¡tica comum entre os chips AI. O chip Navion de baixa potaªncia que foi desenvolvido em colaboração com Sertac Karaman para aplicações de mapeamento e navegação em roba³tica usa duas a três ordens de magnitude menos energia do que uma CPU, em parte usando otimizações que reduzem a quantidade de dados processados ​​e armazenados. lasca. 

Quanto mais o software se alinha com as manãtricas de desempenho relacionadas ao hardware, como eficiência de energia, melhor podemos fazer. A poda, por exemplo, éuma maneira popular de remover pesos de uma rede profunda para reduzir os custos de computação. Mas, em vez de remover os pesos com base em sua magnitude, nosso trabalho sobre a poda com consciência energanãtica sugere que vocêpode remover os pesos que consomem mais energia para melhorar o consumo geral de energia. Outro manãtodo que desenvolvemos, NetAdapt , automatiza o processo de adaptação e otimização de uma rede profunda para um smartphone ou outras plataformas de hardware. Nosso recente trabalho de acompanhamento, NetAdaptv2 , acelera o processo de otimização para aumentar ainda mais a eficiência.

Estou explorando a navegação auta´noma para robôs de baixa energia com Sertac Karaman. Tambanãm estou trabalhando com Thomas Heldt para desenvolver uma maneira de baixo custo e potencialmente mais eficaz de diagnosticar e monitorar pessoas com doenças neurodegenerativas como Alzheimer e Parkinson, rastreando os movimentos dos olhos. Propriedades do movimento ocular, como o tempo de reação, podem servir como biomarcadores para a função cerebral. No passado, o rastreamento do movimento dos olhos acontecia em cla­nicas por causa dos caros equipamentos necessa¡rios. Temos mostrado que uma ca¢mera do smartphone comum pode fazer medições da casa de um paciente, tornando a coleta de dados mais fa¡cil e menos caro. Isso poderia ajudar a monitorar a progressão da doença e acompanhar as melhorias nos ensaios clínicos de medicamentos.

Reduzir os requisitos de energia da IA ​​estendera¡ a IA a uma ampla gama de dispositivos incorporados, estendendo seu alcance a pequenos robôs , casas inteligentes e dispositivos médicos . Um desafio importante éque a eficiência geralmente requer uma compensação no desempenho. Para ampla adoção, seráimportante se aprofundar nessas diferentes aplicações para estabelecer o equila­brio certo entre eficiência e precisão.