Книги / AI и ML / Data Science / Data Engineering with Scala and Spark

Data Engineering with Scala and Spark

Eric Tome, Rupam Bhattacharjee, David Radford
Data Science
#Scala#Apache Spark#Data Engineering#Stream Processing#Big Data

Эта книга представляет собой практическое руководство по созданию конвейеров обработки данных с использованием Scala и Apache Spark. Она охватывает как потоковую, так и пакетную обработку больших объемов данных, начиная с основ Scala для инженеров данных и заканчивая настройкой облачной среды. Авторы, имеющие многолетний опыт работы с данными, делятся лучшими практиками построения масштабируемых решений.

Книга начинается с введения в функциональное программирование на Scala, включая работу с классами, объектами, трейтами, функциями высшего порядка и паттерн-матчингом. Затем рассматривается настройка облачной инфраструктуры и использование объектного хранилища. Основное внимание уделяется практическим аспектам инженерии данных: созданию надежных и эффективных конвейеров.

Издание предназначено для инженеров данных, желающих освоить современные инструменты обработки данных. Оно содержит множество примеров кода и реальных сценариев использования. Книга будет полезна как новичкам в Scala, так и опытным специалистам, стремящимся углубить свои знания в области распределенных вычислений.

Похожие книги

Analytics Engineering with SQL and dbt: Building Meaningful Data Models at Scale

Analytics Engineering with SQL and dbt: Building Meaningful Data Models at Scale

Rui Machado, Hélder Russa

Data Engineering with Google Cloud Platform

Data Engineering with Google Cloud Platform

Adi Wijaya

Modern Data Architectures with Python: A practical guide to building and deploying data pipelines, data warehouses, and data lakes with Python

Modern Data Architectures with Python: A practical guide to building and deploying data pipelines, data warehouses, and data lakes with Python

Brian Lipp

Data Engineering with Python: Work with massive datasets to design data models and automate data pipelines using Python

Data Engineering with Python: Work with massive datasets to design data models and automate data pipelines using Python

Paul Crickard

Fundamentals of Data Engineering: Plan and Build Robust Data Systems

Fundamentals of Data Engineering: Plan and Build Robust Data Systems

Joe Reis, Matt Housley

Data Engineering Design Patterns: Recipes for Solving the Most Common Data Engineering Problems

Data Engineering Design Patterns: Recipes for Solving the Most Common Data Engineering Problems

Bartosz Konieczny

Hands-on Guide to Apache Spark 3: Build Scalable Computing Engines for Batch and Stream Data Processing

Hands-on Guide to Apache Spark 3: Build Scalable Computing Engines for Batch and Stream Data Processing

Alfonso Antolínez García

Data Engineering for Beginners

Data Engineering for Beginners

Chisom Nwokwu

Data Engineering with Generative and Agentic AI on AWS: Building an AI-Augmented Data Practice for the Enterprise

Data Engineering with Generative and Agentic AI on AWS: Building an AI-Augmented Data Practice for the Enterprise

Justin J. Leto

Data Wrangling with SQL: A hands-on guide to manipulating, wrangling, and engineering data using SQL

Data Wrangling with SQL: A hands-on guide to manipulating, wrangling, and engineering data using SQL

Raghav Kandarpa, Shivangi Saxena