Взаимодействие микросервисов с использованием Kafka

1. Синхронизация данных: необходимость обеспечивать консистентность данных о погоде, поступающих от различных источников (метеостанции, спутники, сенсоры IoT), создала задержки и несоответствия. Конфликты данных возникали из-за одновременной обработки информации с разной частотой обновления, что снижало точность прогнозов.
2. Масштабируемость: с увеличением числа пользователей и объёма данных система начала сталкиваться с узкими местами. Синхронные вызовы создавали задержки и ограничивали возможность горизонтального масштабирования, что ухудшало производительность и пользовательский опыт.
3. Управление трафиком: в пиковые моменты (например, крупные метеорологические события) система перегружалась из-за увеличения количества запросов. Синхронное решение не обеспечивало равномерное распределение нагрузки, что приводило к перегрузкам и снижению доступности.
4. Надёжность и устойчивость к сбоям: сбой одного из компонентов (например, сервера обработки данных) влиял на всю систему. Синхронные вызовы создавали цепочку зависимостей, где сбой одного компонента блокировал работу других, что снижало общую устойчивость системы.

Взаимодействие между микросервисами

Синхронное взаимодействие

• REST API: клиент отправляет HTTP-запрос к REST API сервиса и ждёт ответа с данными.
• gRPC: клиент вызывает удалённую процедуру и ждёт результата выполнения.

Асинхронное взаимодействие

• Message Queueing: сервисы отправляют сообщения в очередь, и получатели обрабатывают их по мере готовности.
• Event Sourcing: изменения состояния системы сохраняются как последовательность событий, которые могут быть обработаны асинхронно.
• Publish/Subscribe: издатели отправляют сообщения в топики, на которые подписаны потребители, и все подписчики получают сообщения асинхронно.

Сравнение синхронного и асинхронного взаимодействия

Основные концепции синхронного взаимодействия

Основные концепции асинхронного взаимодействия

1. Сообщения
   Сообщения представляют собой единицы данных, которые отправляются от одного микросервиса к другому. Могут содержать информацию о событиях, данных или командах для выполнения определённых действий.
2. События
   События — это уведомления о произошедших изменениях в системе. Они позволяют микросервисам реагировать на изменения состояния системы. Например, событие может указывать на то, что новый пользователь зарегистрировался или что обновились данные о погоде.
3. Очереди
   Очереди используются для временного хранения сообщений или событий до тех пор, пока получатель не будет готов их обработать. Очереди обеспечивают надёжную доставку и помогают справляться с пиковыми нагрузками, распределяя обработку сообщений во времени.

Пуш (Push) и Пул (Pull) подходы

1. Push-подход
   В Push-подходе отправитель данных (продюсер) активно отправляет данные получателю (консьюмеру). Подход часто используется в моделях Publish/Subscribe и Event Sourcing.
   WeatherNow: сервисы, отвечающие за публикацию данных о погоде, отправляют обновления в топики Kafka, на которые подписаны другие сервисы (например, уведомления и аналитика).
2. Pull-подход
   В Pull-подходе получатель данных (консьюмер) активно запрашивает данные у отправителя (продюсера) или из хранилища (например, очереди сообщений). Подход часто используется в моделях Message Queueing.
   WeatherNow: сервисы обработки данных запрашивают обновления из очереди сообщений, чтобы обрабатывать данные о погоде по мере их поступления.

1. Сбор данных: система собирает данные о погоде от различных источников — метеостанции, спутники, сенсоры IoT и внешние API.
2. Обработка данных: собранные данные обрабатываются и агрегируются, чтобы предоставить пользователям наиболее точную и актуальную информацию.
3. Публикация данных: обработанные данные публикуются в реальном времени для пользователей через веб- и мобильные приложения.
4. Уведомления: пользователи получают уведомления о значительных изменениях погоды — грозах, ураганах или резком изменении температуры.

1. Сбор данных:
   • Сенсоры и источники данных (Sensors and Data Sources): данные о погоде поступают от различных сенсоров, внешних API и спутников. Эти источники отправляют данные в брокер сообщений.
   • Message Broker (Kafka): брокер сообщений (например, Apache Kafka) используется для приёма и хранения входящих данных о погоде от различных источников. Брокер сообщений гарантирует надёжную доставку данных и масштабируемость системы.
2. Обработка данных:
   • Data Processing: сервис обработки данных извлекает сообщения из брокера, обрабатывает их и сохраняет в хранилище событий (Event Store). Обработанные данные затем публикуются обратно в брокер для дальнейшего использования другими сервисами.
   • Event Store: события находятся в хранилище событий, что позволяет отслеживать изменения состояния системы и выполнять анализ данных.
3. Уведомления и аналитика:
   • Notification and Analysis: сервисы уведомлений и аналитики подписываются на обновления данных о погоде из брокера сообщений. Сервис уведомлений отправляет пользователям предупреждения о значительных изменениях погоды, а сервис аналитики анализирует данные и помещает результаты в хранилище событий.
4. Взаимодействие с пользователями:
   • User Interaction: пользователи взаимодействуют с системой через мобильное или веб-приложение. Они отправляют запросы на получение текущей погоды через API Gateway. API Gateway запрашивает последние данные у брокера сообщений и передаёт их пользователям для отображения в приложениях.

Паттерны асинхронного взаимодействия

1. Message Queueing (Очередь сообщений)
   Message Queueing — это модель взаимодействия, при которой сообщения отправляются в очередь, где они хранятся до тех пор, пока получатель (консьюмер) не будет готов их обработать.
   Пример. Погодные данные от различных сенсоров отправляются в очередь сообщений и обрабатываются консьюмерами, которые обновляют базу данных.

2. Event Sourcing (Хранение событий)
   Event Sourcing — это паттерн, при котором состояние системы сохраняется как последовательность событий. Каждое изменение состояния записывается как событие, и текущее состояние системы можно восстановить путём проигрывания всех событий.
   Пример. Каждое обновление погодных данных записывается как событие, которое затем обрабатывается для обновления конечного состояния системы.

3. Publish/Subscribe (Публикация/Подписка)
   Publish/Subscribe — это модель взаимодействия, при которой издатели отправляют сообщения в один или несколько топиков, на которые подписаны консьюмеры. Все подписчики получают сообщения асинхронно.
   Пример. Сервисы, отвечающие за публикацию погодных данных, отправляют обновления в топик, на который подписаны другие сервисы (например, уведомления и аналитика).

4. Choreography (Хореография)
   Choreography — это паттерн, при котором каждый микросервис реагирует на события и производит собственные события для других микросервисов. Взаимодействие координируется без центрального контроля.
   Пример. Сервисы обмена данными о погоде реагируют на события, такие как обновления данных от сенсоров, и отправляют собственные события (например, оповещения о плохой погоде).

5. Orchestration (Оркестрация)
   Orchestration — это паттерн, при котором централизованный компонент (оркестратор) управляет взаимодействием между микросервисами, инициируя и контролируя выполнение задач.
   Пример. Центральный сервис оркестрации управляет последовательностью шагов для обработки и распространения данных о погоде, начиная с получения данных от сенсоров и заканчивая отправкой уведомлений пользователям.

OpenAPI vs AsyncAPI

OpenAPI

• Улучшенная документация: стандартизированный формат позволяет легко документировать и понимать структуру API.
• Инструменты и генерация кода: существуют многочисленные инструменты для автоматической генерации кода, клиентских библиотек и документации на основе спецификаций OpenAPI.
• Совместимость: поддержка различных протоколов HTTP и интеграция с популярными платформами и фреймворками.

openapi: '3.0.0'
info:
  title: WeatherNow API
  version: '1.0.0'
paths:
  /weather:
    get:
      summary: Get current weather
      responses:
        '200':
          description: Successful response
          content:
            application/json:
              schema:
                type: object
                properties:
                  temperature:
                    type: number
                  humidity:
                    type: number
                  timestamp:
                    type: string
                    format: date-time 

AsyncAPI

• Улучшенная документация: стандартизированный формат позволяет легко документировать и понимать структуру и взаимодействие асинхронных систем.
• Инструменты и генерация кода: существуют инструменты для автоматической генерации кода, клиентских библиотек и документации на основе спецификаций AsyncAPI.
• Совместимость: поддержка различных протоколов и брокеров сообщений — Kafka, MQTT, AMQP.

asyncapi: '2.0.0'
info:
  title: WeatherNow Async API
  version: '1.0.0'
servers:
  production:
    url: api.weathernow.com
    protocol: kafka
channels:
  weather-updates:
    description: Channel for publishing weather updates
    publish:
      summary: Publish weather data
      operationId: publishWeatherData
      message:
        contentType: application/json
        payload:
          type: object
          properties:
            temperature:
              type: number
            humidity:
              type: number
            timestamp:
              type: string
              format: date-time
 

Сравнение OpenAPI и AsyncAPI

Kafka для асинхронного обмена

1. Задержки в обработке данных Без Kafka данные о погоде, поступающие от метеостанций, спутников и сенсоров IoT, обрабатываются синхронно. Это приводит к задержкам, особенно при высоком потоке данных, снижает актуальность информации для пользователей. Kafka позволяет обрабатывать данные в режиме реального времени, распределяя нагрузку и обеспечивая быструю передачу данных между источниками и потребителями.
2. Масштабируемость При увеличении объёма данных и числа пользователей начинаются проблемы с производительностью и масштабируемостью. Традиционные методы синхронного взаимодействия не справляются с нагрузкой. Kafka легко масштабируется горизонтально, добавляя новые брокеры и разделы (англ. partitions). Это позволяет системе обрабатывать больше данных и обслуживать больше пользователей без значительных изменений в архитектуре.
3. Надёжность и устойчивость к сбоям В синхронных системах сбой одного компонента может привести к сбоям во всей системе. Это снижает общую надёжность и доступность сервиса. Kafka обеспечивает высокую надёжность и устойчивость к сбоям благодаря репликации данных и возможностям восстановления после сбоев. Система продолжает работать даже при выходе из строя отдельных компонентов.
4. Управление трафиком и балансировка нагрузки Без централизованного управления трафиком система может столкнуться с неравномерной нагрузкой, что приведёт к перегрузкам и снижению производительности. Kafka обеспечивает эффективное управление трафиком и балансировку нагрузки, равномерно распределяя сообщения между потребителями. Это позволяет системе работать стабильно и эффективно даже при высоких нагрузках.

Преимущества Apache Kafka

1. Высокая производительность: Kafka может обрабатывать миллионы сообщений в секунду — идеально для систем с большим объёмом данных.
2. Масштабируемость: Kafka позволяет горизонтально масштабировать кластер, добавляя новые брокеры, что обеспечивает высокую производительность и надёжность даже при увеличении нагрузки.
3. Надёжность: Kafka поддерживает репликацию данных между брокерами, что обеспечивает устойчивость к сбоям и высокую доступность системы.
4. Долговременное хранение: Kafka хранит сообщения в течение определённого времени, что позволяет воспроизводить данные и анализировать события задним числом.
5. Поддержка различных моделей взаимодействия: Kafka поддерживает модели Publish/Subscribe, Event Sourcing и Message Queueing. Это универсальный инструмент для различных сценариев использования.

Архитектура и основные компоненты Kafka

1. Брокеры (Brokers)

2. Топики (Topics)

3. Продюсеры (Producers)

4. Консьюмеры (Consumers)

5. Зоокипер (ZooKeeper)

Альтернативы Kafka

1. RabbitMQ — это open-source брокер сообщений, который реализует протокол AMQP (Advanced Message Queuing Protocol). Он поддерживает надёжную передачу сообщений, масштабируемость и гибкость в настройке. Подходит для систем, требующих сложной маршрутизации и гибкой конфигурации очередей.
   • Плюсы: поддержка сложных маршрутов, гибкая конфигурация очередей, поддержка различных протоколов (AMQP, MQTT, STOMP).
   • Минусы: менее масштабируемый по сравнению с Kafka, сложнее обеспечить высокую производительность при большом объёме данных.
2. ActiveMQ — это open-source брокер сообщений, реализующий Java Message Service (JMS) API. Он также поддерживает другие протоколы обмена сообщениями и предоставляет возможности для интеграции с Java-приложениями и другими системами. Подходит для систем, требующих поддержки множества протоколов и языков программирования.
   • Плюсы: поддержка различных протоколов и языков программирования, гибкость в настройке.
   • Минусы: менее масштабируемый и производительный по сравнению с Kafka, есть сложности в управлении и настройке.

Настройка кластера Kafka

Шаг 1. Установка Kafka и ZooKeeper

1. Скачайте последнюю версию Apache Kafka с официального сайта: Kafka Downloads. Распакуйте архив в удобное место на вашем сервере или локальной машине.
   Скопировать код

   BASH

    tar -xzf kafka_2.13-2.8.0.tgz
    cd kafka_2.13-2.8.0
     
2. ZooKeeper необходим для координации и управления кластером Kafka. Конфигурационный файл ZooKeeper находится в config/zookeeper.properties.
   Скопировать код

   BASH

    # Start ZooKeeper
    bin/zookeeper-server-start.sh config/zookeeper.properties
     
3. Основной конфигурационный файл Kafka находится в config/server.properties. Убедитесь, что все необходимые параметры настроены, включая ID брокера, директорию хранения логов и адрес ZooKeeper.
   Скопировать код

   BASH

    # Start Kafka Broker
    bin/kafka-server-start.sh config/server.properties
     

Шаг 2. Запуск ZooKeeper и Kafka

1. Запустите ZooKeeper с использованием предоставленного скрипта.
   Скопировать код

   BASH

    bin/zookeeper-server-start.sh config/zookeeper.properties
     
2. После запуска ZooKeeper запустите Kafka-брокер.
   Скопировать код

    bin/kafka-server-start.sh config/server.properties
     

Шаг 3. Создание топиков

1. Используйте команду kafka-topics.sh для создания нового топика. Укажите параметры — имя топика, количество разделов и фактор репликации (англ. replication factor).
   Скопировать код

   BASH

    bin/kafka-topics.sh --create --topic weather-data --bootstrap-server localhost:9092 --partitions 3 --replication-factor 1
     
2. Проверьте, что топик был успешно создан.
   Скопировать код

   BASH

    bin/kafka-topics.sh --list --bootstrap-server localhost:9092
     
3. Команда --describe позволяет получить подробную информацию о топике, включая количество разделов, фактор репликации и статус разделов.
   Скопировать код

   BASH

    bin/kafka-topics.sh --describe --topic my-topic --bootstrap-server localhost:9092
     
4. Топики в Kafka могут быть настроены с различными параметрами для оптимизации производительности и надёжности.
   Некоторые из наиболее важных параметров:
   • retention.ms:

     • Определяет время хранения сообщений в топике.
     • Пример: хранить сообщения в течение 7 дней (604800000 миллисекунд).
     Скопировать код

     BASH

       bin/kafka-topics.sh --alter --topic my-topic --config retention.ms=604800000 --bootstrap-server localhost:9092
        
   • cleanup.policy:

     • Определяет политику очистки сообщений (например, удаление старых сообщений или компактирование).
     • Пример: настроить политику очистки на удаление (delete).
     Скопировать код

     BASH

       bin/kafka-topics.sh --alter --topic my-topic --config cleanup.policy=delete --bootstrap-server localhost:9092
        
   • min.insync.replicas:

     • Определяет минимальное количество реплик, которые должны подтвердить запись, прежде чем продюсер получит подтверждение.
     • Пример: установить минимальное количество реплик на 2.
     Скопировать код

     BASH

       bin/kafka-topics.sh --alter --topic my-topic --config min.insync.replicas=2 --bootstrap-server localhost:9092
        
5. Разделы позволяют распределять данные топика по нескольким брокерам для обеспечения параллельной обработки и масштабируемости.

   • Вы можете добавить разделы к существующему топику с помощью команды --alter.
   Скопировать код

   BASH

        bin/kafka-topics.sh --alter --topic my-topic --partitions 5 --bootstrap-server localhost:9092
         
   -alter: указывает, что необходимо изменить существующий топик.
   -partitions: новое количество разделов.
   • Для эффективного использования ресурсов кластера важно обеспечить равномерное распределение разделов по брокерам. Команда kafka-reassign-partitions.sh помогает в балансировке разделов.
     Скопировать код

     BASH

       bin/kafka-reassign-partitions.sh --generate --zookeeper localhost:2181 --topics-to-move-json-file topics-to-move.json --broker-list "0,1,2"
        
     -generate: генерирует план переассигнования разделов.
     -zookeeper: адрес сервера ZooKeeper.
     -topics-to-move-json-file: файл JSON, содержащий список топиков для переассигнования.
     -broker-list: список брокеров, среди которых будут распределены разделы.

Шаг 4. Настройка продюсеров и консьюмеров в общем виде

1. Настройте микросервисы, которые будут выступать в роли продюсеров, для публикации данных в топики. Используйте клиентские библиотеки Kafka для отправки сообщений.
   Скопировать код

   JAVA

    Properties props = new Properties();
    props.put("bootstrap.servers", "localhost:9092");
    props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
    props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
    
    Producer<String, String> producer = new KafkaProducer<>(props);
    producer.send(new ProducerRecord<>("weather-data", "key", "value"));
    producer.close();
     
2. Настройте микросервисы, которые будут выступать в роли консьюмеров, для подписки на топики и обработки сообщений.
   Скопировать код

   JAVA

    Properties props = new Properties();
    props.put("bootstrap.servers", "localhost:9092");
    props.put("group.id", "weather-consumers");
    props.put("enable.auto.commit", "true");
    props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
    props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
    
    Consumer<String, String> consumer = new KafkaConsumer<>(props);
    consumer.subscribe(Arrays.asList("weather-data"));
    
    while (true) {
        ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
        for (ConsumerRecord<String, String> record : records)
            System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
    }
     

Интеграция Kafka с микросервисами WeatherNow

1. Настройка продюсера

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>2.8.0</version>
</dependency> 

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

Producer<String, String> producer = new KafkaProducer<>(props); 

2. Настройка консьюмера

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>2.8.0</version>
</dependency> 

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("group.id", "weather-consumers");
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

Consumer<String, String> consumer = new KafkaConsumer<>(props);
consumer.subscribe(Arrays.asList("weather-data")); 

3. Отправка и получение сообщений

ProducerRecord<String, String> record = new ProducerRecord<>("weather-data", "sensor1", "temperature=25,humidity=60");
producer.send(record);
producer.close(); 

// Консьюмер для обработки данных
Consumer<String, String> dataConsumer = new KafkaConsumer<>(props);
dataConsumer.subscribe(Arrays.asList("weather-data"));
while (true) {
    ConsumerRecords<String, String> records = dataConsumer.poll(Duration.ofMillis(100));
    for (ConsumerRecord<String, String> record : records) {
        // Обработка данных
        String processedData = processData(record.value());
        // Публикация обработанных данных
        ProducerRecord<String, String> processedRecord = new ProducerRecord<>("processed-weather-data", record.key(), processedData);
        producer.send(processedRecord);
    }
}

// Консьюмер для уведомлений
Consumer<String, String> notificationConsumer = new KafkaConsumer<>(props);
notificationConsumer.subscribe(Arrays.asList("processed-weather-data"));
while (true) {
    ConsumerRecords<String, String> records = notificationConsumer.poll(Duration.ofMillis(100));
    for (ConsumerRecord<String, String> record : records) {
        // Отправка уведомлений
        sendNotification(record.value());
    }
} 

// Консьюмер для аналитики
Consumer<String, String> analyticsConsumer = new KafkaConsumer<>(props);
analyticsConsumer.subscribe(Arrays.asList("processed-weather-data"));
while (true) {
    ConsumerRecords<String, String> records = analyticsConsumer.poll(Duration.ofMillis(100));
    for (ConsumerRecord<String, String> record : records) {
        // Анализ данных
        analyzeData(record.value());
        // Сохранение результатов анализа
        saveAnalysisResults(record.value());
    }
} 

Мониторинг и отладка работы Kafka в продакшене

Инструменты для мониторинга Kafka

1. Kafka Manager

• Функции: мониторинг состояния брокеров, топиков, продюсеров и консьюмеров, управление топиками и разделами.
• Установка и настройка: Kafka Manager можно установить из официального репозитория Kafka Manager.

2. Prometheus и Grafana

• Функции: сбор метрик Kafka, создание дашбордов для визуализации данных, настройка алертов.
• Установка и настройка: Prometheus и Grafana можно установить из официальных репозиториев Prometheus и Grafana.

3. JMX Exporter
   • Описание: инструмент для экспорта метрик Kafka в формате, совместимом с Prometheus.
   • Функции: экспорт метрик JVM и Kafka для мониторинга с помощью Prometheus.
   • Установка и настройка: JMX Exporter можно установить из официального репозитория JMX Exporter.

Основные метрики для мониторинга Kafka

1. Производительность продюсеров и консьюмеров
   • Метрики: количество отправленных/полученных сообщений, задержка отправки/получения сообщений, скорость обработки сообщений.
   • Инструменты: Kafka Manager, Prometheus, Grafana.
2. Состояние брокеров
   • Метрики: загрузка CPU и памяти, количество открытых файловых дескрипторов, время отклика, состояние дисков.
   • Инструменты: Prometheus, Grafana.
3. Состояние топиков и разделов
   • Метрики: количество сообщений в топиках, задержка в потреблении (англ. consumer lag), распределение разделов по брокерам.
   • Инструменты: Kafka Manager, Prometheus, Grafana.

Отладка работы Kafka

1. Kafka CLI (Command Line Interface):

• Функции: создание и управление топиками, просмотр информации о брокерах и топиках, тестирование продюсеров и консьюмеров.
• Примеры команд:
  • Создание топика:
    Скопировать код

    BASH

      bin/kafka-topics.sh --create --topic weather-data --bootstrap-server localhost:9092 --partitions 3 --replication-factor 1
       
  • Просмотр списка топиков:
    Скопировать код

    BASH

      bin/kafka-topics.sh --list --bootstrap-server localhost:9092
       
  • Тестирование продюсера:
    Скопировать код

    BASH

      bin/kafka-console-producer.sh --topic weather-data --bootstrap-server localhost:9092
       
  • Тестирование консьюмера:
    Скопировать код

    BASH

      bin/kafka-console-consumer.sh --topic weather-data --bootstrap-server localhost:9092 --from-beginning
       

2. Kafka Tool:

• Функции: просмотр и управление топиками, отправка и получение сообщений, анализ логов.
• Установка и настройка: Kafka Tool можно скачать с официального сайта Kafka Tool.

1. Конфигурация логирования:
   • Настройте логирование Kafka для записи информации о работе брокеров, продюсеров и консьюмеров. Конфигурационные файлы логирования находятся в config/log4j.properties.
2. Просмотр логов:
   • Проанализируйте логи для выявления и устранения проблем. Логи брокеров, продюсеров и консьюмеров можно найти в директориях, указанных в конфигурационных файлах.

Итоги

• Взаимодействие между микросервисами может происходить синхронно и асинхронно. При синхронном взаимодействии клиентский сервис отправляет запрос и ждёт ответа от сервиса-получателя перед тем, как продолжить выполнение своей логики. Обычно это реализуется через HTTP или RPC (Remote Procedure Call). Асинхронное взаимодействие позволяет сервисам отправлять сообщения и события без необходимости немедленного получения ответа. Это осуществляется через брокеры сообщений, очереди или системы событийного взаимодействия.
• Синхронное взаимодействие подходит для систем с низкими требованиями к масштабируемости и высокой доступности, но может стать узким местом в сложных распределённых системах, где необходима высокая производительность и гибкость.
• Асинхронное взаимодействие может быть реализовано с использованием двух основных подходов: Push и Pull. В Push-подходе отправитель данных (продюсер) активно отправляет данные получателю (консьюмеру). В Pull-подходе получатель данных (консьюмер) активно запрашивает данные у отправителя (продюсера) или из хранилища (например, очереди сообщений).
• OpenAPI и AsyncAPI — два популярных стандарта, которые помогают разработчикам описывать синхронные и асинхронные API соответственно. OpenAPI — это спецификация для описания RESTful API, которая позволяет разработчикам документировать эндпоинты, методы, параметры и ответы API. OpenAPI широко используется для описания синхронных взаимодействий между сервисами. AsyncAPI — это спецификация для документирования и проектирования асинхронных API. AsyncAPI позволяет описывать структуры сообщений, каналы и взаимодействия между компонентами в асинхронной системе.
• Apache Kafka — это распределённая стриминговая платформа, разработанная для публикации, подписки, хранения и обработки потоков данных в реальном времени. Kafka состоит из нескольких ключевых компонентов - это Брокеры, Топики, Продюсеры, Консьюмеры, Зоокипер.
• Мониторинг кластера Kafka позволяет отслеживать состояние системы, выявлять и устранять проблемы, оптимизировать производительность. Основные аспекты мониторинга — отслеживание метрик производительности, состояния брокеров и состояния топиков. Отладка работы Kafka состоит из анализа логов, тестирования топиков и сообщений, использования инструментов для диагностики и устранения проблем.