Perplexity AI, uma das empresas mais inovadoras no campo da inteligência artificial e busca por informações, decidiu criar seu próprio banco de dados para substituir o serviço de nuvem da Amazon, o DynamoDB. O objetivo? Reduzir custos e ganhar mais controle sobre o desempenho de leitura. O resultado foi o CobbleDB, um banco de dados proprietário desenvolvido em apenas dois meses por apenas dois engenheiros, com a ajuda de centenas de agentes de IA.
Dois Engenheiros e Centenas de Agentes de IA
De acordo com informações recentes, a Perplexity utilizou uma abordagem inovadora para construir o CobbleDB. Enquanto dois engenheiros humanos lideraram o projeto, centenas de agentes de IA trabalharam incansavelmente ao lado deles, gerando cerca de 40.000 linhas de código em Rust. Esses agentes não apenas aceleraram o desenvolvimento, mas também realizaram revisões contínuas e garantiram a qualidade do código.
No entanto, apesar de sua contribuição crucial na construção do sistema, os agentes de IA não foram permitidos a executar o banco de dados em produção. Essa decisão reflete preocupações com a confiabilidade e segurança do sistema, garantindo que apenas os engenheiros humanos tenham controle total sobre a operação em tempo real.
Redução de Custos e Melhoria no Desempenho
A Perplexity afirmou que o CobbleDB já está em uso em parte de sua infraestrutura de busca em produção. Os resultados são impressionantes: a latência de leitura em lote caiu de 31,4 ms para 5,6 ms, e a latência no percentil 99 (p99) caiu de 123 ms para 24,2 ms. Além disso, a empresa estima uma economia de pelo menos 20% em relação aos custos do DynamoDB, o que pode significar uma economia anual de até US$ 100 milhões.
O CobbleDB foi projetado especificamente para lidar com leituras em lote repetitivas de registros de páginas preparadas, otimizando desempenho e custo para a carga de trabalho específica da Perplexity. Ao separar o estado durável dos documentos, a entrega de atualizações e a execução de consultas, a empresa conseguiu otimizar cada responsabilidade independentemente, sem sobrecarregar uma única interface de banco de dados.
Desafios e Inovações
O projeto não foi apenas uma questão de substituir um banco de dados por outro. A Perplexity precisou reavaliar todo o pipeline de processamento de dados. Antes, as páginas processadas eram escritas diretamente no DynamoDB. Com a nova abordagem, a empresa introduziu um sistema de processamento assíncrono que separa a transação de processamento imediato da ingestão em armazenamento quente e fornece um caminho reprodutível para atualizações incrementais e reconstruções em lote.
Essa arquitetura modular permite que atualizações no estado durável dos documentos não interfiram na latência do caminho de leitura. Além disso, o CobbleDB utiliza armazenamento local NVMe e réplicas particionadas, com um roteador que envia lotes de solicitações de páginas para os nós relevantes em paralelo, melhorando ainda mais o desempenho.
Impacto no Mercado e Futuro
A Perplexity planeja open-sourcer o CobbleDB, permitindo que outras equipes que trabalham em sistemas de busca baseados em IA possam se beneficiar dessa inovação. Essa iniciativa pode impulsionar a adoção de bancos de dados customizados em outros setores, especialmente aqueles que lidam com grandes volumes de dados e precisam de baixo custo e alta performance.
Com o sucesso do CobbleDB, a Perplexity não apenas demonstrou como a IA pode acelerar o desenvolvimento de infraestrutura crítica, mas também como empresas podem desafiar gigantes como a Amazon, buscando soluções mais econômicas e eficientes. Esse movimento pode incentivar outras empresas a explorarem bancos de dados proprietários, reduzindo dependências de serviços de nuvem e aumentando o controle sobre suas operações.
O caso da Perplexity serve como um exemplo inspirador de como a inovação e a colaboração entre humanos e IA podem levar a soluções revolucionárias, mesmo em prazos apertados e com recursos limitados.
