SQL Avançado
Implementando soluções modernas de dados e aplicações de ML
Descrição do livro
“Embora os profissionais de hoje possam usar a IA para escrever código complexo instantaneamente, construir uma infraestrutura de dados confiável exige profundo contexto humano e conhecimento da área de atuação. O livro SQL Avançado preenche essa lacuna.” – Steve Fischer, líder de engenharia de dados"
“O livro SQL Avançado oferece um excelente relato histórico da evolução do SQL, de como pensar no SQL como parte da sua arquitetura e da pilha tecnológica, e do que o futuro reserva para o SQL em um mundo de aplicações de IA/ML em rápida evolução. Este livro é uma ótima e reveladora leitura.” – Shachar Meir, consultor de dados
O SQL evoluiu de uma linguagem de consulta para bancos de dados relacionais a uma ferramenta fundamental para criar soluções de dados modernas e escaláveis, incluindo análises em tempo real, fluxos de trabalho de ML e até aplicações de IA generativa. SQL Avançado vai além das instruções SELECT e explora todo o potencial do SQL como uma interface de programação para as plataformas de dados mais avançadas da atualidade.
Escrito pelos especialistas em dados Rui Machado, Hélder Russa e Pedro Esmeriz, este guia prático explora o papel do SQL em arquiteturas de streaming (como Apache Kafka e Flink), ecossistemas de data lakes, data warehouses na nuvem e pipelines de ML. Engenheiros de dados, analistas e cientistas de dados encontrarão orientações práticas para expandir suas habilidades em SQL e aplicá-las a fluxos de trabalho emergentes e a sistemas de produção do mundo real.
• Use SQL para projetar e implantar arquiteturas de dados modernas e de ponta a ponta
• Integre SQL com data lakes, processamento de streaming e plataformas na nuvem
• Aplique SQL na engenharia de atributos e na implantação de modelos de ML
• Domine a sintaxe de pipe e outros recursos avançados de consulta
• Utilize SQL para criar aplicações e pipelines de dados prontos para IA generativa
Ver menos ▲Sumário
- Prefácio
- PARTE I: SQL moderno
- CAPÍTULO 1: Evolução do SQL
- Visão histórica: do SQL relacional ao SQL moderno
- Padrão SQL-86: estabelecendo as bases
- Padrão SQL-89: adicionando integridade e segurança
- Padrão SQL-92: adicionando recursos de modelagem
- Padrão SQL:1999 — atendendo às necessidades da indústria
- Do padrão SQL:2003 ao SQL:2008
- Do padrão SQL:2011 ao SQL:2016
- A revolução dos grafos com o SQL:2023
- Transição para SQL de uso múltiplo
- Manipulação de dados semiestruturados em SQL
- Gestão de dados temporais
- Funções analíticas e OLAP estendidas
- Explorando estruturas de grafos em SQL
- Lidando com dados não estruturados em SQL
- Integração de ML e LLMs em plataformas SQL
- SQL para transformações de dados
- Análise embarcada com DuckDB
- Comparação de dialetos SQL ao longo do tempo
- Resumo
- CAPÍTULO 2: Técnicas avançadas de SQL
- Consultas recursivas, funções de janela e CTEs
- Expressões de tabela comum e fatoração de subconsultas
- CTEs recursivas para consultas hierárquicas e iterativas
- Funções de janela avançadas para consultas analíticas
- Estratégias de otimização de desempenho
- Indexação e acesso eficiente a dados
- Planejamento de consultas e otimização baseada em custos
- Reescrita de consultas, armazenamento em cache e visões materializadas
- Evitar antipadrões comuns de SQL
- Otimizar data warehouses na nuvem: BigQuery versus Snowflake
- Resumo
- CAPÍTULO 3: Arquitetando soluções orientadas a SQL
- Princípios fundamentais de design para pipelines de dados SQL
- Design de pipelines de dados SQL modulares
- Formalizando acordos de dados: contratos de dados
- Padrões de arquitetura para pipelines de dados
- Processamento em lote versus streaming: escolhendo a abordagem correta para o pipeline SQL ..84 Padrões de transformação: ETL, ELT e streaming
- Além de ETL/ELT e streaming: zero-ETL e compartilhamento de dados
- Data Mesh e produtos de dados
- Arquiteturas para escalabilidade
- Escalabilidade de um RDBMS tradicional
- Escalonamento nativo na nuvem
- Concorrência e isolamento na prática
- Padrões híbridos e multicloud
- Construindo e operacionalizando plataformas de dados SQL escaláveis
- Arquitetura em camadas: separando armazenamento, transformação e orquestração
- Do design à produção: escalonando soluções de dados SQL
- Evitando antipadrões arquitetônicos comuns
- Acoplamento forte entre componentes do pipeline
- Scripts SQL monolíticos "tudo-em-um"
- Linhagem e monitoramento ausentes
- Acoplamento excessivo a tecnologias específicas
- Não projetar para a evolução
- Ignorar testes para modelos SQL
- Ignorar a governança e a segurança
- Resumo
- PARTE II: SQL para engenharia de dados e ciência de dados
- CAPÍTULO 4: Modelagem avançada de dados com SQL
- Técnicas tradicionais de modelagem de dados SQL
- Terceira Forma Normal — modelagem estruturada e relacional
- Modelagem dimensional: esquema em estrela para análise
- Sumário |
- Esquemas em floco de neve: adicionando normalização às dimensões
- Uma tabela única ampla: a abordagem da tabela desnormalizada ampla
- Modelagem Lakehouse e fluxos de trabalho ELT
- Resumo dos modelos tradicionais
- Grafos de conhecimento e modelagem semântica: a nova fronteira para SQL
- O que é um grafo de conhecimento?
- Tecnologias de grafos: Neo4j e Cypher
- Consultas com Cypher versus SQL
- Modelos semânticos e ontologias
- RDF e OWL: os fundamentos da modelagem semântica
- Grafos de propriedades e Cypher
- PostgreSQL e GraphDB
- SQL e grafos: complementares, não concorrentes
- Resumo
- CAPÍTULO 5: Criando soluções de engenharia de dados com SQL
- Visão geral e princípios de design do pipeline
- Configurando o ambiente do GCP
- Ingestão de dados em uma arquitetura centrada em SQL
- Ingestão em streaming com Spark Structured Streaming e uma versão do Apache Flink SQL .167 Ingestão em lote para dados em massa
- Camada de armazenamento
- Data lakehouse
- Armazenamento e gestão de dados com Apache Iceberg
- Transformação e modelagem de dados com SQL
- Design de modelos Silver e Gold no dbt: construindo uma arquitetura em medalhões
- Orquestração e gestão de fluxo de trabalho
- Pipeline de orquestração de fluxos de trabalho na nuvem
- Agendamento dos fluxos de trabalho
- Opções alternativas de orquestração
- Camada de consumo
- Uma interface estável para consumo de dados
- Conectando a semântica à execução
- Execução semântica SQL-First
- Contratos semânticos são contratos testáveis
- Operacionalizando a camada semântica
- Dados em tempo real na camada de consumo
- Considerações sobre segurança e governança
- Identidade e limites de execução
- Limites de conjuntos de dados e esquemas como governança
- Governança via dbt (documentação, linhagem e exposições)
- Segurança versus semântica: definições consistentes como controle
- Resumo
- CAPÍTULO 6: SQL na ciência de dados
- Processamento e análise de dados
- Descrição estatística do conjunto de dados
- Correlação e associação
- Regressão a partir de agregados
- Detecção de valores discrepantes
- Análise estatística avançada
- Testes de normalidade
- Intervalos de confiança: estimando a média
- Testes de duas amostras
- Testes entre vários grupos
- Aprendizado de máquina
- Padrões avançados de engenharia de atributos
- Criação e treinamento de modelos
- Avaliação e validação do modelo
- Implantação e monitoramento do modelo
- Resumo
- PARTE III: SQL em tecnologias emergentes
- CAPÍTULO 7: IA generativa em SQL
- IA generativa no SQL
- Padrões essenciais de SQL + GenAI
- Dados prontos para IA
- Quando o SQL deve executar cargas de trabalho de GenAI
- Primitivas: LLMs, embeddings e busca
- Funções LLM dentro do SQL
- Embeddings, busca e recuperação
- Padrões: RAG, agentes e MCPs
- Geração fundamentada (o “G” em RAG)
- Agentes e MCPs baseados em SQL
- Implementando IA generativa em data warehouses
- Logs, monitoramento e avaliação das saídas da IA Generativa
- Engenharia de custos e desempenho
- Segurança e controles de privacidade
- Arquiteturas de implantação práticas
- Checklist de prontidão para produção
- Resumo
- CAPÍTULO 8: Inovações na sintaxe do SQL e o futuro do SQL
- Sintaxe de pipeline do GoogleSQL
- Sintaxe e semântica essenciais das consultas em pipeline
- Visão geral dos operadores de pipe
- Sumário |
- Pipe SQL aplicado por meio de exemplos
- Casos de uso e aplicações reais do Pipe SQL
- Melhores práticas e diretrizes de estilo para a sintaxe do Pipe SQL
- Inovações paralelas em expressões SQL
- PRQL: uma linguagem de consulta relacional em pipeline
- Malloy: uma linguagem de modelagem semântica
- O futuro do SQL
- IA e bancos de dados autônomos
- O horizonte quântico: otimização assistida por computação quântica
- Governança e políticas declarativas
- Resumo
- Índice remissivo
Sobre os autores
Rui Machado é cofundador e CTO da MaioLabs.ai. Liderou equipes de engenharia e análise de dados em grandes empresas como H&M, Jumia, Nike e Meta, e é coautor de um livro sobre engenharia de analytics.… Ver perfil completo ▶
Hélder Russa é diretor de engenharia de dados do Grupo H&M, onde ajuda a projetar e implementar plataformas e produtos de dados. Ele tem uma década de experiência em soluções de dados.… Ver perfil completo ▶
Pedro Esmeriz é o engenheiro líder de IA na Quartz, responsável pelo desenvolvimento do mecanismo principal da empresa para tomada de decisões financeiras personalizadas. Anteriormente, foi chefe de ciência de dados na Maersk, especializado em modelos prescritivos e de otimização.… Ver perfil completo ▶
Livros relacionados
