Mastering Kafka Streams and ksqlDB: Building Real-Time Data Systems by Example

Эта книга представляет собой практическое руководство по созданию систем обработки данных в реальном времени с использованием технологий Apache Kafka. Автор подробно рассматривает две ключевые технологии экосистемы Kafka: Kafka Streams (библиотека для потоковой обработки) и ksqlDB (движок потоковых запросов).

Книга начинается с введения в основы Kafka, включая архитектуру кластера, модель коммуникации, темы, разделы и потребительские группы. Затем читатель погружается в мир Kafka Streams, изучая его особенности, операционные характеристики, модель развертывания и архитектуру потоковой обработки. Особое внимание уделяется сравнению с другими системами и обсуждению вариантов использования.

В практической части книги рассматриваются как stateless (без сохранения состояния), так и stateful (с сохранением состояния) операции обработки данных. Автор демонстрирует работу с DSL (Domain Specific Language) и низкоуровневым Processor API, объясняет концепции потоков и таблиц, а также их взаимосвязь (stream/table duality).

Книга содержит множество примеров кода и реальных сценариев использования, включая обработку Twitter-потока, создание игровых таблиц лидеров и другие практические задачи. Особое внимание уделяется сериализации данных, работе с Avro, анализу настроений и построению сложных конвейеров обработки.