Contratos de Dados
Desenvolvendo pipelines escaláveis de dados
Descrição do livro
“Este livro é uma leitura obrigatória para profissionais e desenvolvedores de dados modernos. Em um mundo em que os dados são o novo petróleo e o desenvolvimento de software acontece a uma velocidade impressionante, contratos de dados, quando bem utilizados, podem ajudar uma organização a alcançar sua visão e seus objetivos mais rapidamente.” – Akhil Behl, gerente de conta parceiro, Red Hat
A má qualidade dos dados pode causar grandes problemas para as equipes de dados, desde a interrupção de pipelines de dados geradores de receita até a perda de confiança dos consumidores de dados. Apesar da importância da qualidade dos dados, muitas equipes de dados ainda têm dificuldade para evitar esses problemas — especialmente quando os dados são provenientes de fluxos de trabalho upstream (em estágios anteriores) fora de seu controle. A solução: contratos de dados. Esses contratos viabilizam ativos de dados de alta qualidade e bem governados, documentando as expectativas sobre os dados, estabelecendo a propriedade desses ativos e, em seguida, aplicando automaticamente essas restrições no fluxo de trabalho de CI/CD.
Este livro prático apresenta a arquitetura de contratos de dados, define com clareza o que são contratos de dados, explica por que o setor de dados precisa deles e compartilha casos de uso reais de contratos de dados em produção. Além disso, você aprenderá a implementar componentes da arquitetura de contratos de dados e entenderá como esses componentes são utilizados no ciclo de vida dos dados. Por fim, você elaborará um argumento para implementar contratos de dados em sua organização.
• Explore aplicações reais de contratos de dados no setor
• Entenda como aplicar cada componente desta arquitetura, como CI/CD, monitoramento, controle de versão de dados e muito mais
• Aprenda a implementar contratos de dados utilizando ferramentas de código aberto
• Examine formas de resolver questões de qualidade de dados utilizando a arquitetura de contratos de dados
• Meça o impacto da implementação de um contrato de dados em sua organização
• Desenvolva uma estratégia para determinar como os contratos de dados serão utilizados em sua organização
Ver menos ▲Sumário
- Apresentação
- Prefácio
- PARTE I: Introdução à arquitetura de contratos de dados
- CAPÍTULO 1: Por que o setor agora precisa de contratos de dados
- Ciclo “garbage in, garbage out”
- Gerenciamento moderno de dados
- O que é dívida de dados?
- Como o efeito garbage-in garbage-out se potencializa
- A morte dos data warehouses
- A era pré-moderna
- O software engole o mundo
- Uma mudança para microsserviços
- Arquitetura de dados em deterioração
- Ascensão da Modern Data Stack
- Os grandes jogadores
- Crescimento rápido
- Problemas no paraíso
- IA centrada em dados e o surgimento das práticas de shift left
- Retorno do investimento decrescente na melhoria dos modelos de ML
- Comoditização dos fluxos de trabalho de ciência de dados
- Ascensão dos dados sobre o ML na criação de vantagem competitiva
- Surgimento das práticas de shift left de dados
- Conclusão
- CAPÍTULO 2: Qualidade dos dados não se refere a dados impecáveis
- Definição da qualidade dos dados
- OLTP versus OLAP e suas implicações para a qualidade dos dados
- Um breve resumo de OLTP e OLAP
- Problemas de tradução entre visões de mundo de dados OLTP e OLAP
- Custo da má qualidade dos dados
- Medição da qualidade dos dados
- Quem é impactado
- Conclusão
- CAPÍTULO 3: Desafios da escalabilidade da infraestrutura de dados
- Diferenças entre desenvolvimento de dados e de software
- Como os engenheiros de software criam produtos
- Como os desenvolvedores de dados criam produtos
- Desafios para equipes modernas de engenharia de dados
- Por que o desenvolvimento de dados precisa de uma superfície de design
- Custo de refatorações em larga escala
- Considerações sobre refatoração em larga escala
- Caso de uso: a refatoração em larga escala na Alan
- Perigos das migrações de banco de dados
- Papel do gerenciamento de mudanças na qualidade dos dados
- Comportamento entrópico dos dados
- Como os dados derivam da lógica de negócios estabelecida
- A gestão de mudanças precisa alinhar-se às necessidades do negócio
- Como as necessidades de infraestrutura mudam em escala
- Número de Dunbar e Lei de Conway
- Estudo de caso: equipe de engenharia da Atlassian
- Como contratos de dados possibilitam o gerenciamento de mudanças em escala
- Conclusão
- CAPÍTULO 4: Introdução aos contratos de dados
- A colaboração é diferente no mundo dos dados
- Stakeholders com os quais você vai trabalhar
- Papel dos produtores de dados
- Papel dos consumidores de dados
- Impacto de produtores e consumidores
- Desafios e dificuldades dos consumidores de dados gerenciando a qualidade dos dados
- Uma alternativa: o fluxo de trabalho do contrato de dados
- Etapas do fluxo de trabalho do contrato de dados
- Onde os contratos de dados são implementados
- Resultados da implementação de contratos de dados
- Contratos de dados versus observabilidade de dados
- Conclusão
- PARTE II: Implementação da arquitetura de contrato de dados
- CAPÍTULO 5: Componentes do contrato de dados: ativos de dados e definição de contrato
- Visão geral dos componentes
- Ativos de dados
- Bancos de dados analíticos
- Bancos de dados transacionais
- Sourcing e streams de eventos
- Dados primários, plataforma de terceiros
- Definição de contrato
- Especificação do contrato de dados
- Lógica de negócios
- Schema Registry e catálogos de dados
- Conclusão
- CAPÍTULO 6: Componentes do contrato de dados: detecção e prevenção
- Detecção
- Quarentena de dados
- tempo real
- Linhagem de ponta a ponta: grafos de fluxo de código-fonte e linhagem de dados
- Análise estática de código
- Quarentena de dados
- Prevenção
- Controle de versão
- CI/CD
- Monitoramento e alertas de violações
- Conclusão
- CAPÍTULO 7: Implementação de contratos de dados
- Introdução ao cenário simulado de contrato de dados
- Conjunto de dados
- Aplicação do museu
- Visão geral do repositório do projeto
- Implementação dos contratos de dados
- Visão geral da arquitetura dos contratos de dados
- Componente A: ativos de dados
- Componente B: definição do contrato
- Componente C: detecção
- Componente D: prevenção
- Juntando tudo
- Cenário de violação do contrato de dados
- Solicitação recebida para normalizar a tabela object_images
- Atualize o arquivo de migração de dados para o novo esquema
- Verifique os testes unitários e acione a violação contratual
- Envie para o branch remoto e visualize os logs de erro
- Reverta as alterações de migração do banco de dados
- Converse com a equipe downstream para entender o caso de uso
- Crie novo contrato de dados para a tabela object_images_normalized
- Execute testes unitários e veja o erro de ativo ausente no catálogo
- Corrija a migração do banco de dados até que todas as verificações sejam aprovadas
- Envie para o branch remoto e veja se a mudança passa
- Conclusão
- CAPÍTULO 8: Estudos de caso do mundo real: contratos de dados em produção
- História do contrato de dados da Convoy
- História do contrato de dados da Glassdoor
- História do contrato de dados da Adevinta Espanha
- Conclusão
- PARTE III: Obtendo o apoio da liderança para a arquitetura de contratos de dados
- CAPÍTULO 9: Shift left: a mudança cultural necessária para os contratos de dados
- O que precisa ser verdade: o que deixamos passar sobre o shift left dos dados
- Entendendo os riscos: três exemplos reais de complicações da lacuna de percepção
- Lacunas de percepção alimentam falsas suposições
- Lacunas de percepção obscurecem a complexidade do mundo real
- As lacunas de percepção podem colocar equipes umas contra as outras
- Possibilitando a adoção: abordagem estratégica para fechar a lacuna entre software e dados
- Encontrando uma ponte e promovendo a confiança
- Traçando o rumo com informações objetivas
- Evoluindo o shift left dos dados em conjunto com sua organização
- left dos dados
- O que a crescente necessidade de DevSecOps demonstrou
- Ver (e abraçar) o shift left dos dados pelo que realmente é
- Conclusão
- CAPÍTULO 10: Gestão de mudanças:O ponto crucial de pessoas, processos e tecnologia
- Importância da gestão de mudanças
- Dados como cadeias de suprimentos
- Níveis de implementação dos contratos de dados
- Projetos de aviões e de companhias aéreas
- Problemas orientados ao futuro e ao passado
- Desafios de implementações focadas primeiro na tecnologia
- A armadilha dos padrões
- Requisitos para a implementação bem-sucedida do contrato de dados
- Desenvolvendo estratégia para introdução de contratos de dados
- Definir o problema
- Estruturar o problema
- Priorizar as questões
- Desenvolver um plano de trabalho de análise de questões e realizar as análises
- Sintetizar as descobertas
- Desenvolver recomendações
- Conclusão
- CAPÍTULO 11: Obtendo suas primeiras vitórias com contratos de dados
- Determinando seu primeiro caso de uso de contrato de dados
- Definição de produtos de dados
- Identificando seus fios de aço
- Tomando sua decisão final
- Determinando seu caso de negócios e requisitos
- Colete informações e planeje o engajamento
- Mapeie onde os principais stakeholders se enquadram no ciclo de vida dos dados
- Determine a influência, interesse e riscos dos principais stakeholders
- Obtenha o patrocínio da liderança executiva
- Oito passos para a adoção do shift left na organização inteira
- Estabelecer um senso de urgência
- Criar a coalizão orientadora
- Desenvolver uma visão e uma estratégia
- Comunicar a visão de mudança
- Empoderar colaboradores para a ação de base ampla
- Gerar vitórias de curto prazo
- Consolidar ganhos e produzir mais mudanças
- Fixar as novas abordagens na cultura
- Atribuição em ação: a importância de tornar o sucesso tangível
- Conclusão
- CAPÍTULO 12: Medindo o impacto dos contratos de dados
- O que vale a pena medir?
- Por onde começar se você tiver poucas medições existentes
- Árvores métricas mínimas viáveis
- Medindo ao longo das três fases da adoção
- Meta da fase 1: medição da viabilidade
- Meta da fase 2: medição da repetibilidade
- Meta da fase 3: medição da escalabilidade
- Narrativas para comunicar o impacto da medição
- Partida
- Transformação
- Retorno
- Juntando tudo
- Conclusão
- Conclusão: IA e o futuro dos contratos de dados
- Implicações futuras do shift left dos dados
- Dados como código
- Impacto da IA
- Papel dos agentes
- LLMs e contexto
- Futuro dos contratos de dados
- Próximos passos
- APÊNDICE: Recursos adicionais
- Índice remissivo
Sobre os autores
Chad Sanderson é especialista em contratos de dados e CEO e cofundador da Gable. Escreve bastante sobre qualidade de dados, mantém a newsletter Data Products e fundou a comunidade Data Quality Camp. Vive em Seattle.… Ver perfil completo ▶
Mark Freeman é engenheiro de dados e ex-defensor da saúde comunitária que utiliza dados para gerar impacto social. Com mestrado pela Stanford Medicine, aplica sua expertise para melhorar vidas por meio de tecnologia, dados e inovação.… Ver perfil completo ▶
B.E. Schmidt é natural do Meio-Oeste dos EUA, ex-diretor de criação e escritor com quase duas décadas de experiência em publicidade, marketing de conteúdo e estratégia digital.… Ver perfil completo ▶
Livros relacionados
Recursos
Opinião dos leitores
Ailton T
O livro “Contratos de Dados” traz uma abordagem muito relevante sobre governança e integração de dados, principalmente no contexto de arquiteturas modernas e ambientes distribuídos. O conteúdo ajuda a entender a importância de definir regras claras para compartilhamento, estrutura e qualidade dos dados entre sistemas e equipes. Achei interessante como o livro mostra que problemas de dados muitas vezes não estão apenas na tecnologia, mas também na falta de alinhamento entre produtores e consumidores da informação. A proposta dos contratos de dados faz bastante sentido para reduzir inconsistências, retrabalho e dificuldades de integração ao longo do tempo. A leitura é objetiva e consegue conectar conceitos técnicos com desafios reais enfrentados em projetos de dados e integrações corporativas. Em alguns momentos o tema pode ficar mais conceitual, mas no geral o material é bem relevante para quem trabalha com APIs, eventos, data platforms ou arquiteturas orientadas a dados. No geral, considero um livro bastante atual e útil para profissionais que querem evoluir a maturidade de governança e confiabilidade de dados dentro das organizações.