Tecnologia Científica

Ensinando IA para ver a profundidade em fotografias e pinturas
Pesquisadores publicaram recentemente seu trabalho melhorando um processo chamado estimativa de profundidade monocular, uma técnica que ensina os computadores a ver a profundidade usando o aprendizado de ma¡quina.
Por Simon Fraser University - 12/08/2021


Os pesquisadores do Laborata³rio de Fotografia Computacional da Simon Fraser University em SFU estãoensinando inteligaªncia artificial como determinar a profundidade de uma única fotografia. Crédito: SFU

Os pesquisadores do Laborata³rio de Fotografia Computacional da SFU esperam dar aos computadores uma vantagem visual que nós, humanos, consideramos natural - a capacidade de ver profundidade em fotografias. Embora os humanos possam naturalmente determinar o quanto pra³ximos ou distantes os objetos estãode um aºnico ponto de vista, como uma fotografia ou uma pintura, éum desafio para os computadores - mas eles podem superar em breve.

Pesquisadores publicaram recentemente seu trabalho melhorando um processo chamado estimativa de profundidade monocular, uma técnica que ensina os computadores a ver a profundidade usando o aprendizado de ma¡quina.

"Quando olhamos para uma imagem, podemos dizer a distância relativa dos objetos observando seu tamanho, posição e relação uns com os outros", diz Mahdi Miangoleh, um estudante de mestrado que trabalha no laboratório. "Isso requer reconhecer os objetos em uma cena e saber o tamanho dos objetos na vida real. Esta tarefa por si são éum ta³pico ativo de pesquisa para redes neurais ."

Apesar do progresso nos últimos anos, os esforços existentes para fornecer resultados de alta resolução que podem transformar uma imagem em um espaço tridimensional (3D) falharam.

Para combater isso, o laboratório reconheceu o potencial inexplorado dos modelos de rede neural existentes na literatura. A pesquisa proposta explica a falta de resultados de alta resolução nos manãtodos atuais por meio das limitações das redes neurais convolucionais. Apesar dos grandes avanços nos últimos anos, as redes neurais ainda tem uma capacidade relativamente pequena de gerar muitos detalhes de uma vez.

Outra limitação équanto da cena essas redes podem "olhar" de uma vez, o que determina quanta informação a rede neural pode usar para entender cenas complexas. Ao trabalhar para aumentar a resolução de suas estimativas visuais, os pesquisadores agora estãotornando possí­vel criar renderizações 3D detalhadas que parecem realistas ao olho humano. Esses chamados "mapas de profundidade" são usados ​​para criar representações 3D de cenas e simular o movimento da ca¢mera em computação gra¡fica.

"Nosso manãtodo analisa uma imagem e otimiza o processo observando o conteaºdo da imagem de acordo com as limitações das arquiteturas atuais", explica o Ph.D. estudante Sebastian Dille. "Fornecemos nossa imagem de entrada para nossa rede neural em muitas formas diferentes, para criar tantos detalhes quanto o modelo permitir, preservando uma geometria realista."

A equipe também publicou um explicador amiga¡vel para a teoria por trás do manãtodo, que estãodispona­vel no YouTube.
 
"Com os mapas de profundidade de alta resolução que a equipe écapaz de desenvolver para fotografias do mundo real, os artistas e criadores de conteaºdo podem agora transferir imediatamente suas fotografias ou obras de arte para um rico mundo 3D", disse o professor de ciências da computação e diretor do laboratório, Yağız Aksoy , cuja equipe colaborou com os pesquisadores Sylvain Paris e Long Mai, da Adobe Research.

As ferramentas permitem que os artistas transformem arte 2D em mundos 3D

Artistas globais já estãoutilizando os aplicativos habilitados pela pesquisa do laboratório da Aksoy. Akira Saito, um artista visual baseado no Japa£o, estãocriando va­deos que levam os espectadores a mundos 3D fanta¡sticos, imaginados em arte 2D. Para isso, ele combina ferramentas como o Houdini, um software de animação por computador, com o mapa de profundidade gerado por Aksoy e sua equipe.

Os criadores de conteaºdo criativo no TikTok estãousando a pesquisa para se expressar de novas maneiras.

“a‰ um grande prazer ver artistas independentes fazendo uso de nossa tecnologia a  sua maneira”, diz Aksoy, cujo laboratório tem planos de estender este trabalho para va­deos e desenvolver novas ferramentas que tornara£o os mapas de profundidade mais aºteis para os artistas.

"Demos grandes saltos na visão e na computação gra¡fica nos últimos anos, mas a adoção dessas novas tecnologias de IA pela comunidade de artistas precisa ser um processo orga¢nico e isso leva tempo."

 

.
.

Leia mais a seguir