Decifrando Arquiteturas de Dados
Escolhendo entre data warehouse moderno, data fabric, data lakehouse e data mesh
Descrição do livro
Data fabric, data lakehouse e data mesh surgiram recentemente como alternativas viáveis aos data warehouses modernos. Essas novas arquiteturas apresentam benefícios sólidos, mas também têm gerado muito exagero e confusão. Este livro prático fornece um guia dessas arquiteturas para ajudar os profissionais de dados a conhecer as vantagens e desvantagens de cada uma delas.
James Serra, arquiteto de soluções de big data e data warehousing na Microsoft, examina conceitos comuns de arquitetura de dados, incluindo como os data warehouses tiveram de evoluir para trabalhar com recursos de data lake. Você verá o que os data lakehouses podem ajudá-lo a realizar e como distinguir o entusiasmo existente em torno do data mesh e a realidade. O melhor de tudo é que você poderá determinar a arquitetura de dados mais apropriada às suas necessidades.
Com este livro, você:
• Ganhará conhecimento prático de várias arquiteturas de dados
• Conhecerá as vantagens e desvantagens de cada abordagem
• Aprenderá a diferença entre a teoria da arquitetura de dados e a realidade
• Poderá escolher a melhor arquitetura para seu caso de uso
• Entenderá as diferenças entre data warehouses e data lakes
• Aprenderá conceitos comuns de arquitetura de dados que o ajudarão a criar soluções melhores
• Explorará a evolução histórica e as características das arquiteturas de dados
• Aprenderá os aspectos básicos da execução de uma sessão de design de arquitetura, da organização da equipe, e os fatores de sucesso do projeto
Ver menos ▲Sumário
- Apresentação
- Prefácio
- Parte I Base
- Capítulo 1 Big Data
- O que é big data e como ele pode ajudá-lo?
- Maturidade dos dados
- Estágio 1: Reativo
- Estágio 2: Informativo
- Estágio 3: Preditivo
- Estágio 4: Transformador
- Self-service business intelligence
- Resumo
- Capítulo 2 Tipos de arquiteturas de dados
- Evolução das arquiteturas de dados
- Data warehouse relacional
- Data Lake
- Data warehouse moderno
- Data Fabric
- Data Lakehouse
- Data Mesh
- Resumo
- Capítulo 3 Sessão de design de arquitetura
- O que é uma ADS?
- Por que fazer uma ADS?
- Antes da ADS
- Preparação
- Convidando os participantes
- Conduzindo a ADS
- Introduções
- Descoberta
- Quadro branco
- Depois da ADS
- Dicas para a condução de uma ADS
- Resumo
- Parte II Conceitos comuns das arquiteturas de dados
- Capítulo 4 Data warehouse relacional
- O que é um data warehouse relacional?
- O que um data warehouse não é
- Abordagem top-down
- Por que usar um data warehouse relacional?
- Desvantagens do uso de um data warehouse relacional
- Preenchendo um data warehouse
- Com que frequência os dados serão extraídos
- Métodos de extração
- Como saber que dados mudaram desde a última extração
- É um exagero afirmar que o data warehouse relacional morreu
- Resumo
- Capítulo 5 Data Lake
- O que é um data lake?
- Por que usar um data lake?
- Abordagem bottom-up
- Melhores práticas para o design de um data lake
- Múltiplos data lakes
- Vantagens
- Desvantagens
- Resumo
- Capítulo 6 Soluções e processos de armazenamento de dados
- Soluções de armazenamento de dados
- Data Marts
- Armazenamentos de dados operacionais
- Data Hubs
- Processos de dados
- Gerenciamento de dados mestres
- Virtualização de dados e federação de dados
- Catálogos de dados
- Marketplaces de dados
- Resumo
- Capítulo 7 Abordagens de design
- Processamento de transações online versus processamento analítico online
- Dados operacionais e analíticos
- Multiprocessamento simétrico e processamento massivamente paralelo
- Arquitetura Lambda
- Arquitetura Kappa
- Persistência poliglota e armazenamentos de dados poliglotas
- Resumo
- Capítulo 8 Abordagens de modelagem de dados
- Modelagem relacional
- Chaves
- Diagramas entidade-relacionamento
- Regras e formas de normalização
- Rastreando alterações
- Modelagem dimensional
- Fatos, dimensões e chaves
- Rastreando alterações
- Desnormalização
- Modelo de dados comum
- Cofre de dados
- Metodologias de data warehousing de Kimball e Inmon
- Metodologia top-down de Inmon
- Metodologia bottom-up de Kimball
- Escolhendo uma metodologia
- Modelos híbridos
- Mitos das metodologias
- Resumo
- Capítulo 9 Abordagens da ingestão de dados
- ETL versus ELT
- ETL reverso
- Processamento em lote versus processamento em tempo real
- Vantagens e desvantagens do processamento em lote
- Vantagens e desvantagens do processamento em tempo real
- Governança de dados
- Resumo
- Parte III Arquiteturas de dados
- Capítulo 10 Data warehouse moderno
- Arquitetura MDW
- Vantagens e desvantagens da arquitetura MDW
- Combinando o RDW e o data lake
- Data Lake
- Data warehouse relacional
- Etapas importantes para a criação de um MDW
- Ampliação do EDW
- Data lake temporário mais EDW
- Multifuncional
- Estudo de caso: Mudança estratégica da Wilson & Gunkerk para um MDW
- Desafio
- Solução
- Resultado
- Resumo
- Capítulo 11 Data Fabric
- Arquitetura data fabric
- Políticas de acesso a dados
- Catálogo de metadados
- Gerenciamento de dados mestres
- Virtualização de dados
- Processamento em tempo real
- APIs
- Serviços
- Produtos
- Por que fazer a transição de um MDW para uma arquitetura data fabric?
- Possíveis desvantagens
- Resumo
- Capítulo 12 Data Lakehouse
- Recursos do Delta Lake
- Melhorias no desempenho
- Arquitetura data lakehouse
- E se você evitar usar o data warehouse relacional?
- Camada de atendimento relacional (relational serving layer)
- Resumo
- Capítulo 13 Aspectos básicos do data mesh
- Uma arquitetura de dados descentralizada
- Badalação em cima do data mesh
- Os quatro princípios de Dehghani para o Data Mesh
- Princípio #1: Propriedade de domínio
- Princípio #2: Dados como produto
- Princípio #3: Plataforma de autoatendimento de dados
- Princípio #4: Governança computacional federada
- O data mesh “puro”
- Domínios de dados
- Arquitetura lógica do data mesh
- Diferentes topologias
- Data mesh versus data fabric
- Casos de uso
- Resumo
- Capítulo 14 Você deve adotar o data mesh? Mitos, problemas e o futuro
- Mitos
- rapidamente
- Mito: Um data mesh substituirá seu data lake e seu data warehouse
- esse problema
- Mito: Criar um data mesh significa descentralizar absolutamente tudo
- Mito: Você pode usar a virtualização de dados para criar um data mesh
- Problemas
- Questões filosóficas e conceituais
- Combinando dados em um ambiente descentralizado
- Outros problemas da descentralização
- Complexidade
- Duplicação
- Viabilidade
- Pessoas
- Obstáculos no nível de domínios
- Avaliação organizacional: você deve adotar um data mesh?
- Recomendações para a implementação de um data mesh bem-sucedido
- Futuro do data mesh
- Olhando de forma geral: entendendo as arquiteturas de dados e suas aplicações
- Resumo
- Parte IV Pessoas, processos e tecnologia
- Capítulo 15 Pessoas e processos
- Organização de equipes: papéis e responsabilidades
- Papéis para o MDW, Data Fabric ou Data Lakehouse
- Papéis para o data mesh
- Por que os projetos falham: armadilhas e prevenção
- Armadilha: Usar as tecnologias erradas
- Armadilha: Coletar muitos requisitos empresariais
- Armadilha: Coletar poucos requisitos empresariais
- Armadilha: Apresentar relatórios sem antes validar seu conteúdo
- Armadilha: Contratar uma empresa de consultoria inexperiente
- para profissionais de outras regiões
- Armadilha: Passar a responsabilidade do projeto para os consultores
- Armadilha: Reduzir o orçamento no meio do projeto
- Armadilha: Começar com uma data final e trabalhar baseando-se nela
- necessidades da empresa
- lentos ou outros problemas de desempenho
- Dicas para o sucesso
- Não economize ao investir
- Envolva os usuários, mostre-lhes os resultados e empolgue-os
- Adicione valor aos novos relatórios e dashboards
- Peça aos usuários finais que criem um protótipo
- Encontre um defensor/patrocinador do projeto
- Crie um plano para o projeto que vise a 80% de eficiência
- Resumo
- Capítulo 16 Tecnologias
- Escolhendo uma plataforma
- Soluções open source
- Soluções locais
- Soluções de provedores de nuvem
- Modelos de serviços de nuvem
- Principais provedores de nuvem
- Soluções multicloud
- Frameworks de software
- Hadoop
- Databricks
- Snowflake
- Resumo
- Índice remissivo
Sobre o autor
James Serra trabalhou na Microsoft nos últimos nove anos como arquiteto de soluções de big data e data warehousing. Ele se tornou um formador de opinião no uso e na aplicação de big data e análise avançada, o que inclui arquiteturas de dados como o data warehouse moderno, data lakehouse, data fabric e data mesh.… Ver perfil completo ▶
Livros relacionados
Recursos
Opinião dos leitores
Enner S G
Muito bom livro, vale muito a pena.
Títulos relacionados