AMES: Otimizando Busca Multimodal e RAG para Empresas

Introdução: Navegando na Complexidade da Informação Empresarial

Como Engenheiro de Software Sênior e Arquiteto de Soluções na AITY, tenho observado a crescente demanda por sistemas de busca que não apenas processem texto, mas também compreendam e recuperem informações de múltiplos formatos de mídia. Em um mundo onde Large Language Models Multimodais (MLLMs) se tornam essenciais para aplicações reais, a necessidade de acessar fontes de conhecimento externas e de responder a informações dinâmicas é crítica. Contudo, abordagens existentes como Retrieval Augmented Generation (RAG) e agentes de busca frequentemente enfrentam limitações, como pipelines rígidos e excesso de chamadas, além da exigência de que todas as informações necessárias estejam explicitamente presentes na consulta.

O Desafio da Busca Multimodal em Escala Empresarial

A integração eficaz de dados textuais, visuais e de vídeo em um sistema de busca empresarial escalável apresenta desafios significativos. As empresas precisam de soluções que:

• Permitam a MLLMs acessar vastas fontes de conhecimento e responder a dados em tempo real.
• Tratem consultas complexas que buscam informações em diversos formatos.
• Evitem a necessidade de redesenhos arquitetônicos extensos para acomodar novas modalidades.

AMES: Uma Abordagem Unificada para Busca Multimodal

É nesse cenário que a pesquisa em Approximate Multi-modal Enterprise Search (AMES) se destaca. AMES oferece uma arquitetura unificada de recuperação de interação tardia multimodal, agnóstica ao backend, que pode ser implantada em um motor de busca empresarial de nível de produção sem a necessidade de um redesenho arquitetônico completo.

Os princípios chave de AMES incluem:

• Representação Compartilhada: Tokens de texto, patches de imagem e quadros de vídeo são incorporados em um espaço de representação compartilhado usando codificadores multivetor. Isso permite a recuperação cross-modal sem a necessidade de lógica de recuperação específica da modalidade.
• Pipeline de Duas Etapas: AMES emprega um pipeline eficiente:
  • Busca ANN (Approximate Nearest Neighbor) paralela em nível de token com aproximação Top-M MaxSim por documento.
  • Re-ranking otimizado por acelerador usando Exact MaxSim.
• Performance Comprovada: Experimentos no benchmark ViDoRe V3 demonstram que AMES atinge desempenho de classificação competitivo dentro de um sistema escalável e pronto para produção, baseado em Solr.

Superando Limitações do RAG com Interação Tardia

Enquanto LLMs possuem uma notável capacidade de resolver novas tarefas com poucos exemplos, eles dependem das "ferramentas" certas. RAG, ao recuperar uma lista de ferramentas relevantes para uma dada tarefa, é um passo crucial. No entanto, o passo de recuperação de ferramentas do RAG tradicional exige que todas as informações necessárias estejam explicitamente presentes na consulta, o que pode ser um gargalo em cenários complexos ou com informações implícitas.

A abordagem de AMES, com sua recuperação de interação tardia multimodal e fina granularidade, oferece uma solução ao permitir que o sistema faça correlações mais profundas entre diferentes modalidades de dados. Isso mitiga as limitações das "pipelines rígidas" e "chamadas de busca excessivas" que afetam as abordagens existentes, capacitando MLLMs a abordar consultas intensivas em conhecimento e de busca de informações de forma mais robusta e eficiente, sem depender da explicitação total da informação na consulta inicial.

A capacidade de AMES de integrar texturas, imagens e vídeos em uma única estrutura de busca, permitindo uma interação mais rica e contextualmente ciente, representa um salto significativo para as empresas. Isso não apenas otimiza a recuperação de informações, mas também pavimenta o caminho para que MLLMs operem com maior autonomia e eficácia em ambientes de produção complexos.