Книги / DevOps и Инфраструктура / Мониторинг / Data Quality Fundamentals: A Practitioner's Guide to Building Trustworthy Data Pipelines

Data Quality Fundamentals: A Practitioner's Guide to Building Trustworthy Data Pipelines

Barr Moses, Lior Gavish, Molly Vorwerck

Книга «Data Quality Fundamentals» представляет собой практическое руководство по построению надежных и доверенных конвейеров данных. Авторы, основатели компании Monte Carlo Data, делятся фундаментальными принципами обеспечения качества данных в современных распределенных архитектурах.

В книге подробно рассматриваются ключевые концепции качества данных, включая метрики, мониторинг и процессы обнаружения аномалий. Особое внимание уделяется различиям между операционными и аналитическими данными, а также особенностям работы с хранилищами данных и data lakes.

Практическая часть книги содержит конкретные методики сбора метрик качества данных, использования логов запросов и построения систем мониторинга. Авторы анализируют современные тенденции индустрии, включая проблему «простоя данных» (data downtime), и предлагают решения для повышения надежности данных в организациях.

Издание предназначено для инженеров данных, аналитиков и руководителей, которые стремятся построить устойчивые и масштабируемые системы обработки данных. Книга сочетает теоретические основы с реальными кейсами и практическими рекомендациями от экспертов отрасли.