O oceano está repleto de vida. Mas, a menos que você se aproxime, grande parte do mundo marinho pode facilmente permanecer invisível. Isso porque a própria água pode atuar como um manto eficaz: a luz que brilha através do oceano pode se curvar, se dispersar e desaparecer rapidamente à medida que viaja pelo meio denso da água e se reflete na névoa persistente de partículas oceânicas. Isso torna extremamente difícil capturar a cor real dos objetos no oceano sem fotografá-los de perto.

Agora, uma equipe do MIT e do Instituto Oceanográfico Woods Hole (WHOI) desenvolveu uma ferramenta de análise de imagens que elimina os efeitos ópticos do oceano e gera imagens de ambientes subaquáticos que parecem ter sido drenados, revelando as verdadeiras cores de uma cena oceânica. A equipe combinou a ferramenta de correção de cores com um modelo computacional que converte imagens de uma cena em um "mundo" subaquático tridimensional, que pode então ser explorado virtualmente.

Os pesquisadores batizaram a nova ferramenta de "SeaSplat", em referência tanto à sua aplicação subaquática quanto ao método conhecido como 3D gaussian splatting (3DGS), que captura imagens de uma cena e as une para gerar uma representação tridimensional completa que pode ser visualizada em detalhes, de qualquer perspectiva.

“Com o SeaSplat, é possível modelar explicitamente o que a água está fazendo e, como resultado, pode, de certa forma, remover a água e produzir melhores modelos 3D de uma cena subaquática”, diz o estudante de pós-graduação do MIT, Daniel Yang.

Os pesquisadores aplicaram o SeaSplat a imagens do fundo do mar capturadas por mergulhadores e veículos subaquáticos, em vários locais, incluindo as Ilhas Virgens Americanas. O método gerou "mundos" tridimensionais a partir das imagens, que eram mais realistas, vívidos e com cores mais variadas, em comparação com métodos anteriores.

A equipe afirma que o SeaSplat poderia ajudar biólogos marinhos a monitorar a saúde de certas comunidades oceânicas. Por exemplo, enquanto um robô subaquático explora e tira fotos de um recife de coral, o SeaSplat processaria simultaneamente as imagens e renderizaria uma representação 3D em cores reais, pela qual os cientistas poderiam então "voar" virtualmente, em seu próprio ritmo e trajetória, para inspecionar o cenário subaquático, por exemplo, em busca de sinais de branqueamento de corais.

“O branqueamento parece branco de perto, mas pode parecer azul e nebuloso de longe, e você pode não ser capaz de detectá-lo”, diz Yogesh Girdhar, cientista associado do WHOI. “O branqueamento de corais e diferentes espécies de corais podem ser mais fáceis de detectar com imagens do SeaSplat, para obter as cores reais do oceano.”

Girdhar e Yang apresentarão um artigo detalhando o SeaSplat na Conferência Internacional de Robótica e Automação do IEEE (ICRA). O coautor do estudo é John Leonard, professor de engenharia mecânica no MIT.

No oceano, a cor e a clareza dos objetos são distorcidas pelos efeitos da luz que viaja pela água. Nos últimos anos, pesquisadores desenvolveram ferramentas de correção de cor que visam reproduzir as cores reais do oceano. Esses esforços envolveram a adaptação de ferramentas originalmente desenvolvidas para ambientes fora d'água, por exemplo, para revelar a cor real de elementos em condições de neblina. Um trabalho recente reproduz com precisão as cores reais do oceano, com um algoritmo chamado "Sea-Thru", embora esse método exija um enorme poder computacional, o que torna seu uso na produção de modelos de cenas 3D desafiador.

Paralelamente, outros avançaram na técnica de splatting gaussiano 3D, com ferramentas que unem perfeitamente imagens de uma cena e preenchem de forma inteligente quaisquer lacunas para criar uma versão tridimensional completa da cena. Esses mundos 3D permitem a "síntese de novas visualizações", o que significa que alguém pode visualizar a cena 3D gerada não apenas da perspectiva das imagens originais, mas de qualquer ângulo e distância.

Mas o 3DGS só foi aplicado com sucesso em ambientes fora d'água. Os esforços para adaptar a reconstrução 3D a imagens subaquáticas têm sido dificultados, principalmente por dois efeitos ópticos subaquáticos: retrodispersão e atenuação. A retrodispersão ocorre quando a luz reflete em pequenas partículas no oceano, criando uma névoa semelhante a um véu. A atenuação é o fenômeno pelo qual a luz de certos comprimentos de onda se atenua, ou esmaece, com a distância. No oceano, por exemplo, objetos vermelhos parecem esmaecer mais do que objetos azuis quando vistos de mais longe.

Fora d'água, a cor dos objetos parece mais ou menos a mesma, independentemente do ângulo ou da distância de onde são observados. Na água, no entanto, a cor pode mudar e desbotar rapidamente, dependendo da perspectiva. Quando métodos 3DGS tentam unir imagens subaquáticas em um todo 3D coeso, eles não conseguem resolver os objetos devido aos efeitos de retrodispersão e atenuação aquáticos que distorcem a cor dos objetos em diferentes ângulos.

“Um sonho que temos em termos de visão robótica subaquática é: imagine se você pudesse remover toda a água do oceano. O que você veria?”, diz Leonard.

Em seu novo trabalho, Yang e seus colegas desenvolveram um algoritmo de correção de cor que leva em conta os efeitos ópticos de retrodispersão e atenuação. O algoritmo determina o grau em que cada pixel de uma imagem deve ter sido distorcido pelos efeitos de retrodispersão e atenuação e, em seguida, essencialmente elimina esses efeitos aquáticos e calcula qual deve ser a cor real do pixel.

Yang então trabalhou o algoritmo de correção de cores em um modelo de respingos gaussianos 3D para criar o SeaSplat, que pode analisar rapidamente imagens subaquáticas de uma cena e gerar uma versão virtual 3D em cores reais da mesma cena, que pode ser explorada em detalhes de qualquer ângulo e distância.

A equipe aplicou o SeaSplat a diversas cenas subaquáticas, incluindo imagens capturadas no Mar Vermelho, no Caribe, na costa de Curaçao, e no Oceano Pacífico, perto do Panamá. Essas imagens, obtidas a partir de um conjunto de dados preexistente, representam uma variedade de locais oceânicos e condições da água. Eles também testaram o SeaSplat em imagens capturadas por um robô subaquático controlado remotamente nas Ilhas Virgens Americanas.

A partir das imagens de cada cena oceânica, o SeaSplat gerou um mundo 3D em cores reais que os pesquisadores puderam explorar virtualmente, por exemplo, ampliando e reduzindo o zoom de uma cena e visualizando certas características de diferentes perspectivas. Mesmo visualizando de diferentes ângulos e distâncias, eles descobriram que os objetos em cada cena mantinham sua cor real, em vez de desbotar como ocorreria se fossem vistos através do oceano real.

“Depois de gerar um modelo 3D, um cientista pode simplesmente 'nadar' pelo modelo como se estivesse mergulhando e observar as coisas com muitos detalhes, com cores reais”, diz Yang.

Por enquanto, o método requer recursos computacionais robustos, como um computador de mesa, que seria volumoso demais para ser transportado a bordo de um robô subaquático. Ainda assim, o SeaSplat pode ser usado em operações com cabo, onde um veículo, conectado a um navio, pode explorar e capturar imagens que podem ser enviadas ao computador do navio.

“Esta é a primeira abordagem capaz de construir rapidamente modelos 3D de alta qualidade com cores precisas, subaquáticos, e pode criá-los e renderizá-los rapidamente”, afirma Girdhar. “Isso ajudará a quantificar a biodiversidade e avaliar a saúde dos recifes de corais e de outras comunidades marinhas.”

Este trabalho foi apoiado, em parte, pelo Fundo de Investimento em Ciência do WHOI e pela Fundação Nacional de Ciências dos EUA.