Padrões de Design de Engenharia de Dados

Projetos de dados são fundamentais para o ecossistema técnico das organizações, mas muitos engenheiros de dados ainda continuam trabalhando em problemas que outros já resolveram. Este guia prático mostra como entregar dados de alto valor, concentrando-se em aspectos essenciais da engenharia de dados, como ingestão de dados, qualidade de dados,... Ver mais ▼

Projetos de dados são fundamentais para o ecossistema técnico das organizações, mas muitos engenheiros de dados ainda continuam trabalhando em problemas que outros já resolveram. Este guia prático mostra como entregar dados de alto valor, concentrando-se em aspectos essenciais da engenharia de dados, como ingestão de dados, qualidade de dados, idempotência e muito mais.

O autor Bartosz Konieczny orienta você no processo de construção de projetos confiáveis de engenharia de dados de ponta a ponta, desde a ingestão de dados até a observabilidade dos dados, com foco em padrões de design de engenharia de dados que resolvem problemas comuns de negócios de forma segura e otimizada em termos de armazenamento. Cada padrão inclui uma descrição do problema, soluções e consequências para o usuário, inserindo o padrão no contexto de cenários da vida real.

Ao longo dessa jornada, você usará ferramentas de dados de código aberto e serviços de nuvem pública para implementar cada padrão.

Você aprenderá:

• Desafios que os engenheiros de dados enfrentam e seu impacto nos sistemas de dados

• Como esses desafios se relacionam com os componentes do sistema de dados

• Aplicações práticas de padrões de engenharia de dados

• Como identificar e corrigir problemas com seus atuais componentes de dados

• Soluções agnósticas de tecnologia para projetos de dados novos e existentes, com exemplos de implementação de código aberto

“Este livro é a obra seminal para o futuro dos padrões de design de engenharia de dados e deveria ser leitura obrigatória para qualquer profissional de dados. É tão importante para o futuro da profissão quanto os Padrões de Design da Gangue dos Quatro foram para o projeto de software.”

Scott Haines, coautor, Delta Lake: The Definitive Guide [Delta Lake: o Guia Definitivo]

“A engenharia de dados muitas vezes parece uma forma de resolver os mesmos problemas repetidamente. Bartosz Konieczny muda isso com este livro. Abordando tudo, desde idempotência até tratamento de erros e observabilidade de dados, este é o guia definitivo para construir pipelines de dados resilientes com padrões de design reutilizáveis e comprovados.”

Adi Polak, diretor, Confluent

Ver menos ▲