Engenharia de IA
Construindo aplicações com modelos de fundação
Descrição do livro
“Este livro oferece um guia abrangente e bem estruturado sobre os aspectos essenciais da construção de sistemas de IA generativa. Leitura obrigatória para qualquer profissional que queira escalar a IA para toda a empresa.” – Vittorio Cretella, ex-CIO global da P&G e da Mars
“Chip Huyen entende de IA generativa. É uma excelente professora e escritora, cujo trabalho tem sido fundamental para ajudar equipes a levar a IA para a produção. Com base em sua profunda expertise, o livro Engenharia de IA é um guia abrangente e holístico para a construção de aplicações de IA generativa em ambiente de produção.” – Luke Metz, cocriador do ChatGPT, ex-gerente de pesquisa da OpenAI
Os modelos de fundação permitiram o surgimento de vários casos de uso novos de IA, ao mesmo tempo que reduziram as barreiras de entrada para a construção de produtos de IA. Isso transformou a IA de uma disciplina esotérica em uma poderosa ferramenta de desenvolvimento acessível a qualquer pessoa, inclusive àquelas sem experiência prévia em IA.
Nesse guia acessível, a autora Chip Huyen discute a engenharia de IA: o processo de criação de aplicações com modelos de fundação prontamente disponíveis. Desenvolvedores de aplicações de IA descobrirão como navegar pelo cenário da IA, incluindo modelos, conjuntos de dados (datasets), benchmarks de avaliação e a infinidade de padrões de aplicações. O livro também introduz um quadro prático para desenvolver e implementar uma aplicação de IA de forma eficiente.
• Entenda o que é engenharia de IA e como ela difere da engenharia tradicional de machine learning
• Aprenda o processo de desenvolvimento de uma aplicação de IA, os desafios de cada etapa e as abordagens para resolvê-los
• Explore técnicas de adaptação de modelos, incluindo engenharia de prompt, RAG, ajuste fino, agentes e a engenharia de datasets, e entenda como e por que elas funcionam
• Examine os gargalos de latência e custo ao servir modelos de fundação e aprenda a superá-los
• Escolha o modelo, as métricas, os dados e os padrões de desenvolvimento apropriados para as suas necessidades
Ver menos ▲Sumário
Sumário
- Prefácio
- CAPÍTULO 1: Introdução à construção de aplicações de IA com modelos de fundação
- Surgimento da engenharia de IA
- Dos modelos de linguagem aos grandes modelos de linguagem
- Dos grandes modelos de linguagem aos modelos de fundação
- Dos modelos de fundação à engenharia de IA
- Casos de uso dos modelos de fundação
- Codificação
- Produção de imagem e vídeo
- Escrita
- Educação
- Bots de conversa
- Agregação de informações
- Organização de dados
- Automação de fluxo de trabalho
- Planejando aplicações de IA
- Avaliação do caso de uso
- Definindo expectativas
- Planejamento de etapas
- Manutenção
- Pilha da engenharia de IA
- As três camadas da pilha de IA
- Engenharia de IA versus engenharia de ML
- Engenharia de IA versus engenharia full-stack
- Resumo
- CAPÍTULO 2: Entendendo os modelos de fundação
- Dados de treinamento
- Modelos multilíngues
- Modelos específicos de domínio
- Modelando
- Arquitetura do modelo
- Tamanho do modelo
- Pós-treinamento
- Ajuste fino supervisionado
- Ajuste fino conforme as preferências
- Amostragem
- Aspectos básicos da amostragem
- Estratégias de amostragem
- Computação em tempo de teste
- Saídas estruturadas
- A natureza probabilística da IA
- Resumo
- CAPÍTULO 3: Metodologia de avaliação
- Desafios na avaliação dos modelos de fundação
- Entendendo as métricas de modelagem de linguagem
- Entropia
- Entropia cruzada
- Bits-por-caractere e bits-por-byte
- Perplexidade
- Interpretação e casos de uso da perplexidade
- Avaliação exata
- Exatidão funcional
- Medições de similaridade em relação a dados de referência
- Introdução ao embedding
- IA como juiz
- Por que a IA como juiz?
- Como usar a IA como juiz
- Limitações da IA como juiz
- Quais modelos podem agir como juízes?
- Modelos de classificação com avaliação comparativa
- Desafios da avaliação comparativa
- Futuro da avaliação comparativa
- Resumo
- CAPÍTULO 4: Avaliação de sistemas de IA
- Critérios de avaliação
- Capacidade específica do domínio
- Capacidade de geração
- Capacidade de seguir instruções
- Custo e latência
- Seleção do modelo
- Fluxo de trabalho de seleção de modelos
- Construir versus comprar o modelo
- Navegue em benchmarks públicos
- Projete seu pipeline de avaliação
- Etapa 1: Avalie todos os componentes de um sistema
- Etapa 2: Crie uma diretriz de avaliação
- Etapa 3: Defina métodos e dados de avaliação
- Resumo
- CAPÍTULO 5: Engenharia de prompt
- Introdução ao prompting
- Aprendizado no contexto: zero-shot e few-shot
- Prompt do sistema e prompt do usuário
- Tamanho e eficiência do contexto
- Melhores práticas da engenharia de prompt
- Escreva instruções claras e explícitas
- Forneça contexto suficiente
- Divida tarefas complexas em subtarefas mais simples
- Dê tempo ao modelo para pensar
- Itere em seus prompts
- Avalie ferramentas de engenharia de prompt
- Organize e versione os prompts
- Engenharia de prompt defensiva
- Prompts proprietários e engenharia de prompt reversa
- Jailbreaking e injeção de prompt
- Extração de informações
- Defesas contra ataques de prompt
- Resumo
- CAPÍTULO 6: RAG e agentes
- RAG
- Arquitetura RAG
- Algoritmos de recuperação
- Otimização da recuperação
- RAG não é somente para textos
- Agentes
- Visão geral dos agentes
- Ferramentas
- Planejamento
- Modos de falha do agente e avaliação
- Memória
- Resumo
- CAPÍTULO 7: Ajuste fino
- Visão geral do ajuste fino
- Quando fazer o ajuste fino
- Razões para realizar o ajuste fino
- Razões para não realizar o ajuste fino
- Ajuste fino e RAG
- Gargalos de memória
- Retropropagação e parâmetros treináveis
- Cálculo de memória
- Representações numéricas
- Quantização
- Técnicas de ajuste fino
- Ajuste fino eficiente dos parâmetros
- Fusão de modelos e ajuste fino multitarefa
- Táticas de ajuste fino
- Resumo
- CAPÍTULO 8: Engenharia de dataset
- Curadoria de dados
- Qualidade dos dados
- Cobertura dos dados
- Quantidade dos dados
- Aquisição e anotação de dados
- Aumento e síntese dos dados
- Por que usar a síntese de dados
- Técnicas tradicionais de síntese de dados
- Síntese de dados alimentada por IA
- Destilação de modelos
- Processamento de dados
- Inspecione os dados
- Desduplique os dados
- Limpe e filtre os dados
- Formate os dados
- Resumo
- CAPÍTULO 9: Otimização da inferência
- Entendendo a otimização da inferência
- Visão geral da inferência
- Métricas de desempenho da inferência
- Aceleradores de IA
- Otimização da inferência
- Otimização do modelo
- Otimização do serviço de inferência
- Resumo
- CAPÍTULO 10: Arquitetura da engenharia de IA e feedback do usuário
- Arquitetura da engenharia de IA
- Etapa 1: melhore o contexto
- Etapa 2: insira guardrails
- Etapa 3: adicione um roteador de modelo e um gateway
- Etapa 4: reduza a latência com caches
- Etapa 5: adicione padrões de agentes
- Monitoramento e observabilidade
- Orquestração de pipeline de IA
- Feedback do usuário
- Extraindo feedback conversacional
- Planejamento do feedback
- Limitações do feedback
- Resumo
- Epílogo
- Índice remissivo
Sobre o autor
Chip Huyen trabalha na interseção entre IA, dados e narrativa (storytelling). Anteriormente, trabalhou na Snorkel AI e na NVIDIA, fundou uma startup de infraestrutura de IA (posteriormente adquirida) e lecionou design de sistemas de machine learning em Stanford. Seu livro Designing Machine Learning Systems (O’Reilly) foi traduzido para mais de 10… Ver perfil completo ▶
Livros relacionados
Opinião dos leitores
Ailton T
O livro “Engenharia de IA” apresenta uma visão muito interessante sobre os desafios de transformar modelos de inteligência artificial em soluções realmente utilizáveis no ambiente corporativo. O conteúdo mostra que trabalhar com IA vai muito além do treinamento de modelos, envolvendo também arquitetura, governança, integração, monitoramento e operação contínua. Achei bastante relevante a forma como o livro aproxima conceitos de engenharia de software do universo de IA, reforçando temas como confiabilidade, escalabilidade, qualidade dos dados e manutenção das soluções ao longo do tempo. A leitura consegue equilibrar fundamentos técnicos com preocupações práticas do mercado, especialmente para equipes que precisam colocar aplicações baseadas em IA em produção de maneira sustentável. No geral, considero um livro muito válido para profissionais que querem entender melhor como estruturar soluções de IA de forma mais madura, organizada e alinhada com práticas modernas de engenharia.
Luiz R S
Tem muita coisa relacionada à engenharia de prompt e outros tópicos sobre o desenvolvimento de apps com IA que eu desconhecia, por isso achei muito interessante.
Títulos relacionados