Разговор о Kafka || 26.08.2020

Онлайн-митап для тех, кто готовится к использованию и внедрению Kafka, или уже применяет его в своей работе, но хочет лучше понимать внутренние процессы. Будем говорить о модели данных Kafka, разберем подробно KafkaConsumer и KafkaProducer, на примере сделаем отладку клиентов с помощью логов, рассмотрим процесс внедрения Kafka Connect: с чего начать, какие метрики использовать и т.д. 03:36 Александр Сибиряков, Scrapinghub Внутреннее устройство Kafka клиента, лучшие практики - Модель данных Kafka: топики, партиции (разделы), смещения и consumer groups; - Типы клиентов: java native, binding для librdkafka, alternative. Их особенности; - Сетевой стек Kafka клиента, получение и обновление метаданных о топиках; - Разбор KafkaConsumer: общее описание работы, подписка на топики и жесткое назначение; - Проблема частых перебалансировок при прямом назначении; - Основные параметры влияющие на производительность; - Разбор KafkaProducer: описание его устройства, внутренних компонент; - Основные параметры влияющие на производительность; - KafkaAdminClient API: краткий обзор; - Отладка клиентов с помощью логов, на примере. 01:11:54 Сергей Бевзенко, Delivery Club Kafka Connect. Практика применения. В Delivery Club активно используют Kafka. Но как отправлять сообщения в Kafka, если у вас 10-летний легаси монолит, который является ядром продукта? Сергей рассказал, как в этом помогает Kafka Connect. Что такое Kafka Connect? Как его настроить и как с ним работать? Особенности логирования и мониторинга. Рассказал про Debizium Connector. Доклад будет инетересен DevOps'ам и системным архитекторам. Разработчикам, кто уже использует Kafka. И тем, у кого огромный монолит и кто хочет начать использовать Kafka, но его останавливает сложность написания продюсеров в монолите. Митап организован компанией ЦФТ при поддержке ОНТИКО.