Apache Kafka

Введение

Вводный модуль, в котором мы познакомимся с брокерами сообщений и с основными понятиями Kafka.

Тема 1: Брокеры сообщений. История появления и развития. Решаемые задачи

Тема 2: Знакомство с Apache Kafka. Основные компоненты, варианты развертывания, экосистема, сценарии использования

Тема 3: Введение в Scala

Администрирование и внутреннее устройство Apache Kafka

Модуль посвящён администрированию и внутреннему устройству Kafka. Рассмотрим развёртывание и администрирование кластера Kafka. Познакомимся с внутренним устройством брокеров, узнаем, как настроить мониторинг и обеспечить безопасность.

Тема 1: Установка и настройка кластера. Zookeeper. Kraft. Настройка брокеров

Тема 2: Операции с топиками. Партиции (разделы), репликации. Свойства топиков

Тема 3: Мониторинг кластера Kafka

Тема 4: Безопасность. Аутентификация, авторизация, списки управления доступом (ACL)

Программирование

Модуль посвящён основным Kafka API. Узнаем, как программно управлять Kafka, используя Admin и REST API. Научимся отправлять и получать сообщения из Kafka посредством Producer и Consumer API. Познакомимся с транзакциями и узнаем, как организовать надёжную доставку сообщений.

Тема 1: Admin API и REST API

Тема 2: Producer — отправка сообщений. Producer API

Тема 3: Consumer — чтение сообщений. Consumer API

Тема 4: Транзакции

Потоковая обработка данных

Рассмотрим особенности потоковой обработки данных. Погрузимся в фреймворк Kafka Streams.

Тема 1: Что такое потоковая обработка данных. Обзор

Тема 2: Kafka Streams. Основные понятия

Тема 3: Kafka Streams. DSL

Тема 4: Kafka Streams. Processor API

Дополнительные фреймворки

Изучим различные фреймворки обработки потоковых данных. Познакомимся с Akka и Akka Streams, ZIO и ZIO Streams. Рассмотрим, как использовать Spring с Kafka, и изучим Spark Structured Streaming.

Тема 1: Akka Streams

Тема 2: Akka Streams. Alpakka Kafka

Тема 3: ZIO Streams. ZIO Kafka

Тема 4: Spring for Apache Kafka

Тема 5: Spark Streaming

Интеграция

Этот модуль посвящён интеграции Kafka с другими системами, работе с потоками на SQL, использованию Schema Registry и организации геораспределённых систем Kafka.

Тема 1: Kafka Connect

Тема 2: ksqlDB

Тема 3: Schema Registry

Тема 4: Геораспределённая Kafka

Проектная работа

Заключительный месяц курса посвящен проектной работе. Свой проект — это то, что интересно писать слушателю. То, что можно создать на основе знаний, полученных на курсе. При этом не обязательно закончить его за месяц. В процессе написания по проекту можно получить консультации преподавателей.

Тема 1: Выбор темы и организация проектной работы

Тема 2: Консультация по проектам и домашним заданиям

Тема 3: Защита проектных работ. Подведение итогов курса