A inteligência artificial está mudando a forma como as empresas armazenam e acessam seus dados. Isso ocorre porque os sistemas tradicionais de armazenamento de dados foram projetados para lidar com comandos simples de um pequeno número de usuários simultaneamente, enquanto hoje, os sistemas de IA com milhões de agentes precisam acessar e processar continuamente grandes quantidades de dados em paralelo. Os sistemas tradicionais de armazenamento de dados agora têm camadas de complexidade, o que torna os sistemas de IA mais lentos, pois os dados precisam passar por várias camadas antes de chegar às unidades de processamento gráfico (GPUs), que são as células cerebrais da IA.

A Cloudian, cofundada por Michael Tso '93, SM '93 e Hiroshi Ohta, está ajudando o setor de armazenamento a acompanhar a revolução da IA. A empresa desenvolveu um sistema de armazenamento escalável para empresas que ajuda o fluxo de dados perfeitamente entre o armazenamento e os modelos de IA. O sistema reduz a complexidade aplicando computação paralela ao armazenamento de dados, consolidando funções e dados de IA em uma única plataforma de processamento paralelo que armazena, recupera e processa conjuntos de dados escaláveis, com transferências diretas e de alta velocidade entre o armazenamento, GPUs e CPUs.

A plataforma integrada de armazenamento e computação da Cloudian simplifica o processo de criação de ferramentas de IA em escala comercial e oferece às empresas uma base de armazenamento que pode acompanhar o crescimento da IA.

Como estudante de graduação no MIT, na década de 1990, Tso foi apresentado ao professor William Dally à computação paralela — um tipo de computação em que muitos cálculos ocorrem simultaneamente. Tso também trabalhou em computação paralela com o professor associado Greg Papadopoulos.

“Foi uma época incrível porque a maioria das escolas tinha um projeto de supercomputação em andamento — o MIT tinha quatro”, lembra Tso.

Como estudante de pós-graduação, Tso trabalhou com o cientista sênior de pesquisa do MIT, David Clark, um pioneiro da computação que contribuiu para a arquitetura inicial da internet, particularmente o protocolo de controle de transmissão (TCP) que fornece dados entre sistemas.

“Como aluno de pós-graduação no MIT, trabalhei em operações de redes desconectadas e intermitentes para sistemas distribuídos de grande porte”, diz Tso. “É engraçado — 30 anos depois, é isso que ainda faço hoje.”

Após se formar, Tso trabalhou no Laboratório de Arquitetura da Intel, onde inventou algoritmos de sincronização de dados usados pelo BlackBerry. Ele também criou especificações para a Nokia que impulsionaram a indústria de downloads de toques. Em seguida, ingressou na Inktomi, uma startup cofundada por Eric Brewer (SM '92, PhD '94), pioneira em tecnologias de busca e distribuição de conteúdo na web.

Em 2001, Tso fundou a Gemini Mobile Technologies com Joseph Norton '93, SM '93 e outros. A empresa passou a construir os maiores sistemas de mensagens móveis do mundo para lidar com o enorme crescimento de dados de celulares com câmera. Então, no final dos anos 2000, a computação em nuvem tornou-se uma maneira poderosa para as empresas alugarem servidores virtuais à medida que expandiam suas operações. Tso percebeu que a quantidade de dados coletados estava crescendo muito mais rápido do que a velocidade da rede, então decidiu mudar a empresa.

“Os dados estão sendo criados em muitos lugares diferentes, e esses dados têm sua própria gravidade: movê-los vai custar dinheiro e tempo”, explica Tso. “Isso significa que o estado final é uma nuvem distribuída que alcança dispositivos de ponta e servidores. Você precisa levar a nuvem até os dados, não os dados até a nuvem.”

A Tso lançou oficialmente o Cloudian da Gemini Mobile Technologies em 2012, com uma nova ênfase em ajudar os clientes com armazenamento de dados escalável, distribuído e compatível com a nuvem.

“O que não vimos quando iniciamos a empresa foi que a IA seria o melhor caso de uso para dados na ponta”, diz Tso.

Embora a pesquisa de Tso no MIT tenha começado há mais de duas décadas, ele vê fortes conexões entre aquilo em que trabalhou e a indústria atual.

“É como se toda a minha vida estivesse sendo reproduzida, porque David Clark e eu estávamos lidando com redes desconectadas e intermitentemente conectadas, que fazem parte de todos os casos de uso de edge hoje, e o Professor Dally estava trabalhando em interconexões muito rápidas e escaláveis”, diz Tso, observando que Dally é agora vice-presidente sênior e cientista-chefe da NVIDIA, empresa líder em IA. “Agora, quando você olha para a arquitetura moderna dos chips da NVIDIA e a maneira como eles fazem a comunicação entre chips, o trabalho do Dally está por toda parte. Com o Professor Papadopoulos, trabalhei para acelerar softwares de aplicativos com hardware de computação paralela sem precisar reescrever os aplicativos, e esse é exatamente o problema que estamos tentando resolver com a NVIDIA. Coincidentemente, tudo o que eu estava fazendo no MIT está sendo reproduzido.”

Atualmente, a plataforma da Cloudian utiliza uma arquitetura de armazenamento de objetos na qual todos os tipos de dados — documentos, vídeos, dados de sensores — são armazenados como um objeto único com metadados. O armazenamento de objetos pode gerenciar conjuntos de dados massivos em uma estrutura de arquivo simples, tornando-o ideal para dados não estruturados e sistemas de IA. No entanto, tradicionalmente, não é possível enviar dados diretamente para modelos de IA sem que os dados sejam primeiro copiados para o sistema de memória de um computador, o que gera latência e gargalos de energia para as empresas.

Em julho, a Cloudian anunciou a expansão de seu sistema de armazenamento de objetos com um banco de dados vetorial que armazena dados em um formato imediatamente utilizável por modelos de IA. À medida que os dados são ingeridos, a Cloudian computa em tempo real o formato vetorial desses dados para alimentar ferramentas de IA, como mecanismos de recomendação, busca e assistentes de IA. A Cloudian também anunciou uma parceria com a NVIDIA que permite que seu sistema de armazenamento funcione diretamente com as GPUs da empresa de IA. A Cloudian afirma que o novo sistema permite operações de IA ainda mais rápidas e reduz os custos de computação.

“A NVIDIA entrou em contato conosco há cerca de um ano e meio porque as GPUs são úteis apenas com dados que as mantêm ocupadas”, diz Tso. “Agora que as pessoas estão percebendo que é mais fácil mover a IA para os dados do que mover conjuntos de dados enormes. Nossos sistemas de armazenamento incorporam muitas funções de IA, então podemos pré e pós-processar dados para IA perto de onde os coletamos e armazenamos.”

A Cloudian está ajudando cerca de 1.000 empresas ao redor do mundo a obter mais valor de seus dados, incluindo grandes fabricantes, provedores de serviços financeiros, organizações de saúde e agências governamentais.

A plataforma de armazenamento da Cloudian está ajudando uma grande montadora, por exemplo, a usar IA para determinar quando cada um de seus robôs de fabricação precisa de manutenção. A Cloudian também está trabalhando com a Biblioteca Nacional de Medicina para armazenar artigos de pesquisa e patentes, e com o Banco de Dados Nacional do Câncer para armazenar sequências de DNA de tumores — conjuntos de dados ricos que modelos de IA podem processar para auxiliar pesquisas no desenvolvimento de novos tratamentos ou na obtenção de novos insights.

“As GPUs têm sido um facilitador incrível”, diz Tso. “A Lei de Moore dobra a quantidade de computação a cada dois anos, mas as GPUs são capazes de paralelizar operações em chips, permitindo que você conecte GPUs em rede e quebre a Lei de Moore. Essa escala está levando a IA a novos patamares de inteligência, mas a única maneira de fazer as GPUs trabalharem duro é alimentá-las com dados na mesma velocidade em que computam — e a única maneira de fazer isso é eliminar todas as camadas entre elas e seus dados.”