Tagged: apache-kafka

16
Фев
2021

apache kafka, как отследить/детекитровать событие – необработанные консюмером сообщения удалены retention политикой

Бывают случаи, когда консюмер по каким-то причинам не обработал сообщения, а retention политика уже эти сообщения удалила, и хотелось бы реагировать на это событие, например переотправить сообщения.
Собственно вопрос, как отследить/детекит…

16
Фев
2021

apache kafka, как отследить/детекитровать событие – необработанные консюмером сообщения удалены retention политикой

Бывают случаи, когда консюмер по каким-то причинам не обработал сообщения, а retention политика уже эти сообщения удалила, и хотелось бы реагировать на это событие, например переотправить сообщения.
Собственно вопрос, как отследить/детекит…

24
Янв
2021

Смена уровня логирования Кафка

Есть необходимость отключить уровень логирования при старте приложения Кафка с INFO на WARNING. при старте в консоль пишутся логи
[main] INFO org.apache.kafka.clients.producer.ProducerConfig – ProducerConfig values:
acks = all
batch.si…

21
Авг
2020

Kotlin app configuration kafka consumer and produser with avro has failed

При попытке сконфигурировать кафку через application.yaml получаю ошибки при конфигурации consumer и producer вместе с авро сериализатором и дисериализатором. Приложение написано на kotlin. application.yaml:
spring:
application:
name…

07
Июн
2020

Как выполнить преобразование KTable<String, GenericRecord> в KTable<String, GenericArray>?

Есть таблица KTable<String, GenericRecord>,
необходимо преобразовать в другую таблицу KTable<String, GenericArray>, таким образом, чтобы сгруппировать в GenericArray значения из первой таблицы по ключу. Как это можно сделать?…

03
Июн
2020

Что из себя представляет значение объекта класса java.util.Date в кафка-сообщении?

Мой сервис отсылает сообщение в формате DTO с разными типами полей – String, Integer, Date итд. Kafka producer сериализует это DTO, kafka consumer в другом сервисе десериализует. Через KafkaTool я могу посмотреть журнал конкретного топика …

28
Май
2020

Как соединить два Kafka topic через KTable?

Есть две темы в Kafka? которые пишутcя с использованием Avro схем (для key и value)
Эти топики нужно объединить в один.

Как я понимаю, это нужно сделать через KTable и leftJoin.
Из того, что мне удалось понять, из вычитанного на простора…

11
Апр
2020

KTabel сохранение в Kafka

Всем привет.
Не могу найти ответ на свой вопрос:
При построении KTable все данные агрегируются в памяти приложения, есть ли возможность сохранения в kafka и как в БД обращаться по ключу?