Sistemas RAG na Prática
Como projetar, desenvolver e implantar aplicações prontas para produção
Descrição do livro
“Sistemas RAG na Prática não deixa de lado os aspectos menos glamorosos. Ofer e Forrest dão ao parsing de documentos, às tabelas e à ingestão de dados a atenção que realmente merecem, pois são justamente esses elementos que determinam o sucesso ou o fracasso da maioria dos sistemas RAG em aplicações reais.” – Jerry Liu, CEO, LlamaIndex
“Este livro é o guia definitivo para dominar a complexa interação entre armazenamento vetorial, agentes e avaliadores.” – Bob Van Luijt, cofundador e CEO, Weaviate
A geração aumentada por recuperação (Retrieval Augmented Generation, ou RAG) é a principal estratégia para integrar grandes modelos de linguagem ao conhecimento específico de uma organização. No entanto, o mercado está repleto de pipelines e componentes RAG, o que dificulta a escolha da solução mais adequada às necessidades de cada empresa. Este livro simplifica esse processo ao oferecer um roteiro abrangente para criar, aprimorar e escalar aplicações RAG prontas para produção.
Os autores Ofer Mendelevitch e Forrest Sheng Bao conduzem o leitor por todas as etapas do desenvolvimento, desde a ingestão de dados, embeddings e busca vetorial até técnicas avançadas, como RAG agêntica, RAG multimodal e GraphRAG. Engenheiros e arquitetos aprenderão a enfrentar os desafios da criação de aplicações RAG em escala corporativa, como garantir alta precisão com o mínimo de alucinações, manter baixa latência, proteger a privacidade dos dados e fornecer respostas transparentes e explicáveis.
• Decidir entre desenvolver uma solução de RAG internamente ou adotar uma plataforma de RAG como serviço (RAG-as-a-service)
• Criar uma stack RAG básica que maximize o desempenho e a relação custo-benefício
• Avaliar métricas importantes, como alucinações, qualidade das respostas, latência e custo
• Solucionar os desafios da implantação em ambientes corporativos, como conformidade com requisitos de segurança e privacidade dos dados, explicabilidade e design de prompts
• Implementar técnicas avançadas, como RAG multimodal, RAG agêntica e GraphRAG
Ver menos ▲Sumário
- Prefácio de Sharon Zhou
- Prefácio de Jim Dowling
- Introdução
- CAPÍTULO 1: Introdução à RAG
- Como a RAG funciona?
- Arquitetura de uma stack RAG
- Fluxo de ingestão
- Fluxo de consulta
- Exemplo: RAG com LangChain
- RAG versus outras abordagens
- RAG versus “chat com PDF”
- RAG versus fine-tuning
- Principais vantagens da RAG
- RAG é escalável e eficiente
- RAG ajuda a reduzir alucinações
- RAG proporciona explicabilidade
- Adição e remoção quase instantâneas de conhecimento
- Controles de acesso e segurança
- Casos de uso de RAG
- Assistentes virtuais e chatbots de IA
- Gestão do conhecimento corporativo e busca interna
- Criação automatizada de conteúdo e sumarização de documentos
- Geração de anúncios personalizados atraentes e eficazes
- Sistemas de perguntas e respostas
- Aplicações médicas e em saúde
- Pesquisa jurídica e de compliance
- RAG avançada
- RAG agêntica
- RAG multimodal
- RAG com grafos de conhecimento
- Conclusão
- CAPÍTULO 2: Stack RAG básica
- Fluxos da stack RAG
- Fluxo de ingestão
- Fluxo de consulta
- Parsing de documentos
- Extraindo texto de vários formatos de arquivo
- Parsing de documentos com modelos de visão e linguagem
- Exemplo de código: parsing de arquivos
- Chunking de texto
- Estratégias de chunking
- Exemplo de código: Chunking em Python
- Modelos de embedding
- O que é um embedding?
- Critérios para a seleção de modelos de embedding
- Dicas e considerações práticas
- Exemplo de código: gerando embeddings com Sentence Transformers
- Bancos de dados vetoriais e busca vetorial
- Compreendendo a busca por similaridade baseada em vetores
- Algoritmos de busca aproximada de vizinhos mais próximos (ANN)
- Bancos de dados vetoriais
- Parâmetros a considerar ao utilizar busca vetorial
- Exemplo de código: armazenando e recuperando vetores com pgvector
- LLMs generativos
- LLMs
- Engenharia de prompts para RAG
- Avaliando LLMs e templates de prompt
- Exemplo de código: utilizando o Claude da Anthropic para gerar respostas em RAG
- Conclusão
- CAPÍTULO 3: Escalando a stack RAG
- RAG em escala
- Volume e complexidade dos documentos
- Atualidade do índice
- Gerenciamento e otimização de custos
- Ingestão avançada de dados
- Tratando um grande volume de documentos
- Lidando com qualidade inconsistente dos dados
- Tratando documentos grandes
- Exemplo: dividindo um arquivo PDF grande
- Sumário |
- Gerenciando atualizações e renovação de documentos
- Recuperação avançada
- Pipeline de recuperação em dois estágios
- Busca híbrida
- Reranking
- Implementando guardrails
- Guardrails para segurança em IA
- Evitando ataques de injeção de prompts
- Controlando alucinações em RAG
- Definição de alucinações em RAG
- Alucinações de LLMs versus alucinações de RAG
- Detecção de alucinações
- Correção de alucinações
- Criando uma excelente experiência do usuário em RAG
- Considerações sobre a experiência do usuário em RAG
- Interfaces de usuário multimodais
- Ferramentas e implementações de referência
- Conclusão
- CAPÍTULO 4: Implantando RAG em produção
- Desafios da RAG em produção
- Qualidade das respostas e redução de alucinações
- Alta latência
- Segurança e privacidade dos dados
- Desafios de integração e do ecossistema de fornecedores
- Equipe e expertise
- Custo total de propriedade
- Avaliação RAG
- Arquitetura referência para produção
- Transição bem-sucedida da prova de conceito para a produção
- Resuma o que você aprendeu na prova de conceito
- Defina objetivos e requisitos
- Garantindo o sucesso contínuo da RAG
- Conclusão
- CAPÍTULO 5: Plataforma RAG
- RAG DIY versus plataforma RAG
- Capacidades essenciais da RAG
- Fontes de dados
- RAG sprawl e governança centralizada
- Custos e manutenção
- Opções de implantação
- Exemplo de plataforma RAG: Vectara
- Primeiros passos
- Ingerindo dados na Vectara
- Executando consultas
- Correção de alucinações
- Outros endpoints da API de administração da RAG
- Conclusão
- CAPÍTULO 6: Avaliando a aplicação RAG
- Como os sistemas RAG falham?
- Falhas de recuperação
- Falhas de geração
- Falhas decorrentes de uma ingestão de dados inadequada
- Resumo das falhas de RAG
- Utilizando LLMs para avaliação: LLM-as-a-judge
- O que é a abordagem LLM-as-a-judge?
- Como funciona a abordagem LLM-as-a-judge
- Métricas de avaliação de RAG
- Métricas de recuperação
- Métricas de geração
- Viés e segurança
- Soluções para avaliação de RAG
- Open RAG Eval
- Retrieval-Augmented Generation Assessment
- DeepEval
- Amazon Bedrock
- Feedback humano
- Integrando a avaliação de RAG em produção
- Utilizando a abordagem LLM-as-a-judge em produção
- Avaliação de RAG offline
- Avaliação de RAG online
- Métricas do sistema: latência e disponibilidade
- Latência e throughput
- Confiabilidade e disponibilidade
- Custo e eficiência no uso de recursos
- Conclusão
- CAPÍTULO 7: De RAG a agentes de IA
- O que é um agente de IA?
- Stack agêntica
- Sistemas de agente único versus sistemas multiagente
- Casos de uso agênticos
- Agentes no atendimento ao cliente
- Agentes em serviços financeiros
- IA agêntica na área da saúde
- Agentes de IA para programação
- Sumário |
- Loop agêntico
- Chamada de ferramentas
- Model Context Protocol
- Arquitetura do Model Context Protocol
- MCP na IA agêntica corporativa
- Comunicação agente-agente
- Implementando agentes com frameworks de IA agêntica
- Chatbots de IA utilizando LangChain
- Agente de geração de documentos com LlamaIndex
- Construindo um agente com Vectara
- Construindo um sistema multiagente com CrewAI
- Memória agêntica
- Memória de curto prazo versus de longo prazo
- Implementando memória com RAG agêntica
- Guardrails corporativos: privacidade e integridade
- Avaliação e observabilidade em agentes de IA
- Observabilidade agêntica
- Rastreando agentes
- Métricas de observabilidade agêntica
- Ferramentas para observabilidade agêntica
- Conclusão
- CAPÍTULO 8: RAG multimodal
- Documentos com tabelas embutidas
- Por que as tabelas embutidas são importantes?
- Extraindo tabelas de documentos
- Por que o chunking convencional falha em tabelas
- Processamento de tabelas para RAG
- Lidando com tabelas que se estendem por múltiplas páginas
- Documentos com imagens incorporadas
- Abordagem de sumarização de imagens
- Recuperação multimodal com um espaço de embeddings compartilhado
- Áudio e vídeo em RAG
- Abordagem básica: transcrição de alta fidelidade
- Semântica visual: o problema do “botão vermelho”
- Considerações sobre produção
- Economia computacional e latência
- Alinhamento de modalidades
- Camada de interface: citações visuais
- Segurança, privacidade e governança
- Observabilidade avançada, rastreamento detalhado e segurança em escala
- Alucinações e avaliação em RAG multimodal
- Detectando alucinações multimodais
- Avaliando a recuperação e geração multimodais
- Conclusão
- CAPÍTULO 9: RAG enriquecida por conhecimento
- Grafos de conhecimento: visão geral
- Como consultar um grafo de conhecimento?
- Ontologias versus esquemas
- Utilizando grafos de conhecimento em RAG
- Criando um grafo de conhecimento sobre filmes
- Utilizando o grafo de conhecimento no momento da consulta
- Escolhendo entre enriquecimento e recuperação híbrida
- Criando grafos de conhecimento
- Automatizando a criação de grafos de conhecimento
- Utilizando ontologias e grafos de conhecimento padronizados
- GraphRAG
- Infraestrutura do banco de dados de grafos
- Padrões de atualização e evolução de grafos
- Trade-off entre acurácia e custo
- Conclusão
- CAPÍTULO 10: Futuro da RAG
- Evolução da recuperação
- Transição para a RAG agêntica
- Realidade da gravidade dos dados e da recuperação federada
- Impacto de contextos mais longos
- Da engenharia de prompts à engenharia de contexto
- Transição da RAG reativa para a proativa
- RAG na borda: pequenos modelos de linguagem
- Governança e conformidade em escala
- Conclusão: a base de conhecimento viva
- Índice remissivo
Sobre os autores
Ofer Mendelevitch é um líder nas áreas de IA e ML, especializado na criação de sistemas em produção com grandes modelos de linguagem (LLMs), geração aumentada por recuperação (RAG) e fluxos de trabalho agênticos. É autor do livro Practical Data Science with Hadoop.… Ver perfil completo ▶
Forrest Sheng Bao é cofundador de uma startup de IA. Ele acumula mais de 10 anos de experiência em pesquisa em inteligência artificial e em processamento de linguagem natural.… Ver perfil completo ▶
Livros relacionados
