Практика: сборка пайплайна данных c помощью Data Mesh

Вместо централизованного хранения данных Data Mesh предлагает распределённое хранение — разбить данные между бизнес-доменами и контролировать их силами предметных экспертов. В этом уроке вы попробуете собрать пайплайн данных с помощью Data Mesh и сможете на практике оценить особенности такого подхода. Data Mesh реализован, например,  в Netflix - компания испытывала трудности с управлением и использованием огромных объёмов данных. Миллионы пользователей генерировали данные по целому ряду категорий, включая показатели технической производительности и тенденции просмотра контента и чтобы успевать за стремительным ростом и внедрением инноваций, Netflix требовалась масштабируемая децентрализованная архитектура. 
Время взглянуть на варианты интеграции с помощью базы данных Postgres и Data LakeHouse. Концепция Data Mesh не противоречит наличию Data Lake или Data LakeHouse. А DataHub может подключиться к Iceberg, который вы настраивали ранее.

Сборка пайплайна данных c помощью Data Mesh: практика

За основу возьмём docker-compose из официального репозитория.

Скопировать файл

YAML

networks:
  default:
    name: datahub_network
services:
  broker:
    depends_on:
      zookeeper:
        condition: service_healthy
    environment:
    - KAFKA_BROKER_ID=1
    - KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181
    - KAFKA_LISTENER_SECURITY_PROTOCOL_MAP=PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT
    - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://broker:29092,PLAINTEXT_HOST://localhost:9092
    - KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=1
    - KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS=0
    - KAFKA_HEAP_OPTS=-Xms256m -Xmx256m
    - KAFKA_CONFLUENT_SUPPORT_METRICS_ENABLE=false
    - KAFKA_MESSAGE_MAX_BYTES=5242880
    - KAFKA_MAX_MESSAGE_BYTES=5242880
    healthcheck:
      interval: 1s
      retries: 5
      start_period: 60s
      test: nc -z broker $${DATAHUB_KAFKA_BROKER_PORT:-9092}
      timeout: 5s
    hostname: broker
    image: ${DATAHUB_CONFLUENT_KAFKA_IMAGE:-confluentinc/cp-kafka}:${DATAHUB_CONFLUENT_VERSION:-7.4.0}
    ports:
    - ${DATAHUB_MAPPED_KAFKA_BROKER_PORT:-9092}:9092
    volumes:
    - broker:/var/lib/kafka/data/
  datahub-actions:
    depends_on:
      datahub-gms:
        condition: service_healthy
    environment:
    - ACTIONS_CONFIG=${ACTIONS_CONFIG:-}
    - ACTIONS_EXTRA_PACKAGES=${ACTIONS_EXTRA_PACKAGES:-}
    - DATAHUB_GMS_HOST=datahub-gms
    - DATAHUB_GMS_PORT=8080
    - DATAHUB_GMS_PROTOCOL=http
    - DATAHUB_SYSTEM_CLIENT_ID=__datahub_system
    - DATAHUB_SYSTEM_CLIENT_SECRET=JohnSnowKnowsNothing
    - KAFKA_BOOTSTRAP_SERVER=broker:29092
    - KAFKA_PROPERTIES_SECURITY_PROTOCOL=PLAINTEXT
    - METADATA_AUDIT_EVENT_NAME=MetadataAuditEvent_v4
    - METADATA_CHANGE_LOG_VERSIONED_TOPIC_NAME=MetadataChangeLog_Versioned_v1
    - SCHEMA_REGISTRY_URL=http://schema-registry:8081
    hostname: actions
    image: ${DATAHUB_ACTIONS_IMAGE:-acryldata/datahub-actions}:${ACTIONS_VERSION:-head}
  datahub-frontend-react:
    depends_on:
      datahub-gms:
        condition: service_healthy
    environment:
    - DATAHUB_GMS_HOST=datahub-gms
    - DATAHUB_GMS_PORT=8080
    - DATAHUB_SECRET=YouKnowNothing
    - DATAHUB_APP_VERSION=1.0
    - DATAHUB_PLAY_MEM_BUFFER_SIZE=10MB
    - JAVA_OPTS=-Xms512m -Xmx512m -Dhttp.port=9002 -Dconfig.file=datahub-frontend/conf/application.conf -Djava.security.auth.login.config=datahub-frontend/conf/jaas.conf -Dlogback.configurationFile=datahub-frontend/conf/logback.xml -Dlogback.debug=false -Dpidfile.path=/dev/null
    - KAFKA_BOOTSTRAP_SERVER=broker:29092
    - DATAHUB_TRACKING_TOPIC=DataHubUsageEvent_v1
    - ELASTIC_CLIENT_HOST=elasticsearch
    - ELASTIC_CLIENT_PORT=9200
    hostname: datahub-frontend-react
    image: ${DATAHUB_FRONTEND_IMAGE:-acryldata/datahub-frontend-react}:${DATAHUB_VERSION:-head}
    ports:
    - ${DATAHUB_MAPPED_FRONTEND_PORT:-9002}:9002
    volumes:
    - ${HOME}/.datahub/plugins:/etc/datahub/plugins
  datahub-gms:
    depends_on:
      datahub-upgrade:
        condition: service_completed_successfully
    environment:
    - DATAHUB_SERVER_TYPE=${DATAHUB_SERVER_TYPE:-quickstart}
    - DATAHUB_TELEMETRY_ENABLED=${DATAHUB_TELEMETRY_ENABLED:-true}
    - DATAHUB_UPGRADE_HISTORY_KAFKA_CONSUMER_GROUP_ID=generic-duhe-consumer-job-client-gms
    - EBEAN_DATASOURCE_DRIVER=com.mysql.jdbc.Driver
    - EBEAN_DATASOURCE_HOST=mysql:3306
    - EBEAN_DATASOURCE_PASSWORD=datahub
    - EBEAN_DATASOURCE_URL=jdbc:mysql://mysql:3306/datahub?verifyServerCertificate=false&useSSL=true&useUnicode=yes&characterEncoding=UTF-8
    - EBEAN_DATASOURCE_USERNAME=datahub
    - ELASTICSEARCH_HOST=elasticsearch
    - ELASTICSEARCH_INDEX_BUILDER_MAPPINGS_REINDEX=true
    - ELASTICSEARCH_INDEX_BUILDER_SETTINGS_REINDEX=true
    - ELASTICSEARCH_PORT=9200
    - ENTITY_REGISTRY_CONFIG_PATH=/datahub/datahub-gms/resources/entity-registry.yml
    - ENTITY_SERVICE_ENABLE_RETENTION=true
    - ES_BULK_REFRESH_POLICY=WAIT_UNTIL
    - GRAPH_SERVICE_DIFF_MODE_ENABLED=true
    - GRAPH_SERVICE_IMPL=elasticsearch
    - JAVA_OPTS=-Xms1g -Xmx1g
    - KAFKA_BOOTSTRAP_SERVER=broker:29092
    - KAFKA_CONSUMER_STOP_ON_DESERIALIZATION_ERROR=${KAFKA_CONSUMER_STOP_ON_DESERIALIZATION_ERROR:-true}
    - KAFKA_SCHEMAREGISTRY_URL=http://schema-registry:8081
    - MAE_CONSUMER_ENABLED=true
    - MCE_CONSUMER_ENABLED=true
    - METADATA_SERVICE_AUTH_ENABLED=${METADATA_SERVICE_AUTH_ENABLED:-false}
    - PE_CONSUMER_ENABLED=true
    - UI_INGESTION_ENABLED=true
    healthcheck:
      interval: 1s
      retries: 3
      start_period: 90s
      test: curl -sS --fail <http://datahub-gms>:${DATAHUB_GMS_PORT:-8080}/health
      timeout: 5s
    hostname: datahub-gms
    image: ${DATAHUB_GMS_IMAGE:-acryldata/datahub-gms}:${DATAHUB_VERSION:-head}
    ports:
    - ${DATAHUB_MAPPED_GMS_PORT:-8080}:8080
    volumes:
    - ${HOME}/.datahub/plugins:/etc/datahub/plugins
  datahub-upgrade:
    command:
    - -u
    - SystemUpdate
    depends_on:
      elasticsearch-setup:
        condition: service_completed_successfully
      kafka-setup:
        condition: service_completed_successfully
      mysql-setup:
        condition: service_completed_successfully
    environment:
    - EBEAN_DATASOURCE_USERNAME=datahub
    - EBEAN_DATASOURCE_PASSWORD=datahub
    - EBEAN_DATASOURCE_HOST=mysql:3306
    - EBEAN_DATASOURCE_URL=jdbc:mysql://mysql:3306/datahub?verifyServerCertificate=false&useSSL=true&useUnicode=yes&characterEncoding=UTF-8
    - EBEAN_DATASOURCE_DRIVER=com.mysql.jdbc.Driver
    - KAFKA_BOOTSTRAP_SERVER=broker:29092
    - KAFKA_SCHEMAREGISTRY_URL=http://schema-registry:8081
    - ELASTICSEARCH_HOST=elasticsearch
    - ELASTICSEARCH_PORT=9200
    - ELASTICSEARCH_INDEX_BUILDER_MAPPINGS_REINDEX=true
    - ELASTICSEARCH_INDEX_BUILDER_SETTINGS_REINDEX=true
    - ELASTICSEARCH_BUILD_INDICES_CLONE_INDICES=false
    - GRAPH_SERVICE_IMPL=elasticsearch
    - DATAHUB_GMS_HOST=datahub-gms
    - DATAHUB_GMS_PORT=8080
    - ENTITY_REGISTRY_CONFIG_PATH=/datahub/datahub-gms/resources/entity-registry.yml
    - BACKFILL_BROWSE_PATHS_V2=true
    - REPROCESS_DEFAULT_BROWSE_PATHS_V2=false
    hostname: datahub-upgrade
    image: ${DATAHUB_UPGRADE_IMAGE:-acryldata/datahub-upgrade}:${DATAHUB_VERSION:-head}
    labels:
      datahub_setup_job: true
  elasticsearch:
    deploy:
      resources:
        limits:
          memory: 1G
    environment:
    - discovery.type=single-node
    - ${XPACK_SECURITY_ENABLED:-xpack.security.enabled=false}
    - ES_JAVA_OPTS=-Xms256m -Xmx512m -Dlog4j2.formatMsgNoLookups=true
    - OPENSEARCH_JAVA_OPTS=-Xms512m -Xmx512m -Dlog4j2.formatMsgNoLookups=true
    healthcheck:
      interval: 1s
      retries: 3
      start_period: 20s
      test: curl -sS --fail <http://elasticsearch>:$${DATAHUB_ELASTIC_PORT:-9200}/_cluster/health?wait_for_status=yellow&timeout=0s
      timeout: 5s
    hostname: elasticsearch
    image: ${DATAHUB_SEARCH_IMAGE:-elasticsearch}:${DATAHUB_SEARCH_TAG:-7.10.1}
    ports:
    - ${DATAHUB_MAPPED_ELASTIC_PORT:-9200}:9200
    volumes:
    - esdata:/usr/share/elasticsearch/data
  elasticsearch-setup:
    depends_on:
      elasticsearch:
        condition: service_healthy
    environment:
    - ELASTICSEARCH_USE_SSL=${ELASTICSEARCH_USE_SSL:-false}
    - USE_AWS_ELASTICSEARCH=${USE_AWS_ELASTICSEARCH:-false}
    - ELASTICSEARCH_HOST=elasticsearch
    - ELASTICSEARCH_PORT=9200
    - ELASTICSEARCH_PROTOCOL=http
    hostname: elasticsearch-setup
    image: ${DATAHUB_ELASTIC_SETUP_IMAGE:-acryldata/datahub-elasticsearch-setup}:${DATAHUB_VERSION:-head}
    labels:
      datahub_setup_job: true
  kafka-setup:
    depends_on:
      broker:
        condition: service_healthy
      schema-registry:
        condition: service_healthy
    environment:
    - DATAHUB_PRECREATE_TOPICS=${DATAHUB_PRECREATE_TOPICS:-false}
    - KAFKA_BOOTSTRAP_SERVER=broker:29092
    - KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181
    - USE_CONFLUENT_SCHEMA_REGISTRY=TRUE
    hostname: kafka-setup
    image: ${DATAHUB_KAFKA_SETUP_IMAGE:-acryldata/datahub-kafka-setup}:${DATAHUB_VERSION:-head}
    labels:
      datahub_setup_job: true
  mysql:
    command: --character-set-server=utf8mb4 --collation-server=utf8mb4_bin --default-authentication-plugin=mysql_native_password
    environment:
    - MYSQL_DATABASE=datahub
    - MYSQL_USER=datahub
    - MYSQL_PASSWORD=datahub
    - MYSQL_ROOT_PASSWORD=datahub
    healthcheck:
      interval: 1s
      retries: 5
      start_period: 20s
      test: mysqladmin ping -h mysql -u $$MYSQL_USER --password=$$MYSQL_PASSWORD
      timeout: 5s
    hostname: mysql
    image: mariadb:10.5.8
    ports:
    - ${DATAHUB_MAPPED_MYSQL_PORT:-3306}:3306
    restart: on-failure
    volumes:
    - mysqldata:/var/lib/mysql
  mysql-setup:
    depends_on:
      mysql:
        condition: service_healthy
    environment:
    - MYSQL_HOST=mysql
    - MYSQL_PORT=3306
    - MYSQL_USERNAME=datahub
    - MYSQL_PASSWORD=datahub
    - DATAHUB_DB_NAME=datahub
    hostname: mysql-setup
    image: ${DATAHUB_MYSQL_SETUP_IMAGE:-acryldata/datahub-mysql-setup}:${DATAHUB_VERSION:-head}
    labels:
      datahub_setup_job: true
  schema-registry:
    depends_on:
      broker:
        condition: service_healthy
    environment:
    - SCHEMA_REGISTRY_HOST_NAME=schemaregistry
    - SCHEMA_REGISTRY_KAFKASTORE_SECURITY_PROTOCOL=PLAINTEXT
    - SCHEMA_REGISTRY_KAFKASTORE_BOOTSTRAP_SERVERS=broker:29092
    healthcheck:
      interval: 1s
      retries: 3
      start_period: 60s
      test: nc -z schema-registry ${DATAHUB_SCHEMA_REGISTRY_PORT:-8081}
      timeout: 5s
    hostname: schema-registry
    image: ${DATAHUB_CONFLUENT_SCHEMA_REGISTRY_IMAGE:-confluentinc/cp-schema-registry}:${DATAHUB_CONFLUENT_VERSION:-7.4.0}
    ports:
    - ${DATAHUB_MAPPED_SCHEMA_REGISTRY_PORT:-8081}:8081
  zookeeper:
    environment:
    - ZOOKEEPER_CLIENT_PORT=2181
    - ZOOKEEPER_TICK_TIME=2000
    healthcheck:
      interval: 5s
      retries: 3
      start_period: 30s
      test: echo srvr | nc zookeeper $${DATAHUB_ZK_PORT:-2181}
      timeout: 5s
    hostname: zookeeper
    image: ${DATAHUB_CONFLUENT_ZOOKEEPER_IMAGE:-confluentinc/cp-zookeeper}:${DATAHUB_CONFLUENT_VERSION:-7.4.0}
    ports:
    - ${DATAHUB_MAPPED_ZK_PORT:-2181}:2181
    volumes:
    - zkdata:/var/lib/zookeeper/data
    - zklogs:/var/lib/zookeeper/log
volumes:
  broker: null
  esdata: null
  mysqldata: null
  zkdata: null
  zklogs: null
  1. Запускаем docker-файл.

BASH

docker-compose up -d
  1. После запуска открываем логин/пароль по умолчанию datahub/datahub. Интерфейс минималистичный и напоминает поисковик, что и требуется.
Для поддержания подхода Data Mesh в каталоге есть домены, бизнес-глоссарий, которые можно связать друг с другом.
  1. Создадим пару доменов для нашего примера — для онлайн-кинотеатра это будут домены «Фильмы» и «Пользователи».
  1. Также добавим термины для доменов.
  1. Есть возможность заполнить документацию (например, определение для пользователей данных).
  1. Лучше сразу под домен создавать группу терминов и внутри уже заводить конкретные.
  1. У каждого термина можно проставить домен и владельца — того, кто отвечает за его актуальность.
  1. Теперь добавим интеграцию для получения данных домена (например, пользователей). Это будет обычная база данных Postgres с информацией из csv-датасета Netflix. Создадим папку db и в неё положим датасет, напишем небольшой скрипт инициализации init-db.sql.

SQL

CREATE TABLE users (
   id bigint,
   subscription_type varchar(128),
   m_revenue int,
   join_date varchar(20),
   last_payment varchar(20),
   country varchar(100),
   age int,
   gender varchar(6),
   device_type varchar(30),
   plan_duration varchar(30)
);
COPY users FROM '/home/users.csv' WITH (FORMAT csv, HEADER true);
  1. Добавим в docker-compose.

YAML

postgres:
    image: postgres:16.0
    volumes:
      - ./db/init-db.sql:/docker-entrypoint-initdb.d/db.sql
      - ./db/users.csv:/home/users.csv
    environment:
      POSTGRES_USER: airflow
      POSTGRES_PASSWORD: airflow
      POSTGRES_DB: netflix
    logging:
      options:
        max-size: 10m
        max-file: "3"
    healthcheck:
      test:
        - CMD
        - pg_isready
        - -U
        - netflix
      interval: 10s
      retries: 5
      start_period: 5s
    restart: always
  1. Перезапускаем. Для получения данных в DataHub выбираем Ingestions и создаём новый источник данных.
  1. Можно настроить фильтрацию схемы — что нужно отслеживать.
  1. На следующей вкладке задаём расписание получения данных (pull-модель).
И немного метаданных об источнике.
  1. Сохраняем и ждём получения данных.
  1. Дальше идём в домены и, выбрав домен «Пользователи», создаём продукт данных.
  1. Возвращаемся на главную. Здесь в случае успешного получения данных будет виден новый датасет.
Можно открыть его и посмотреть схему.
  1. На этой странице свяжем с продуктом, доменом, выберем владельца данных и тип владения.
  1. Во вкладке Queries можно написать типовые запросы, в Documentation — описать всё, что необходимо знать, а также разметить поля схемы с помощью терминов, свойств и так далее.
Во вкладке Stats можно посмотреть уникальность данных, их объём, типовые значения.
В Incidents можно завести проблемы.
Lineage позволяет посмотреть происхождение данных. Для этого нажмите Visualize и включите все переключатели.
Данные в примере пришли сразу из источника, поэтому отображается только он.
Есть возможность искать данные.
  1. Теперь добавим к нашей установке Data LakeHouse из прошлого урока, но в более урезанной версии без Airflow, так как локально ресурсы всё-таки ограничены. Добавим в docker-compose файл (можно взять из прошлого урока и поправить сеть) Dremio, MinIO, Nessie.

YAML

  #Nessie catalog
  catalog:
    image: projectnessie/nessie
    container_name: catalog
    ports:
      - 19120:19120
      
  ##Storage
  storage:
    image: minio/minio
    container_name: storage
    environment:
      - MINIO_ROOT_USER=admin
      - MINIO_ROOT_PASSWORD=password
      - MINIO_DOMAIN=storage
    ports:
      - 9001:9001
      - 9000:9000
    command: [ "server", "/data", "--console-address", ":9001" ]
  # Minio Client Container
  mc:
    depends_on:
      - storage
    image: minio/mc
    container_name: mc
    environment:
      - AWS_ACCESS_KEY_ID=admin
      - AWS_SECRET_ACCESS_KEY=password
      - AWS_REGION=us-east-1
      - AWS_DEFAULT_REGION=us-east-1
    entrypoint: >
      /bin/sh -c " until (/usr/bin/mc config host add minio http://storage:9000 admin password) do echo '...waiting...' && sleep 1; done; /usr/bin/mc rm -r --force minio/warehouse; /usr/bin/mc mb minio/warehouse; /usr/bin/mc policy set public minio/warehouse; tail -f /dev/null " 
  
  ##Self management portal
  dremio:
    platform: linux/x86_64
    image: dremio/dremio-oss:latest
    ports:
      - 9047:9047
      - 31010:31010
      - 32010:32010
    container_name: dremio
    environment:
      - DREMIO_JAVA_SERVER_EXTRA_OPTS=-Dpaths.dist=file:///opt/dremio/data/dist

Полный docker-compose

YAML

networks:
  default:
    name: datahub_network
services:
  broker:
    depends_on:
      zookeeper:
        condition: service_healthy
    environment:
    - KAFKA_BROKER_ID=1
    - KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181
    - KAFKA_LISTENER_SECURITY_PROTOCOL_MAP=PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT
    - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://broker:29092,PLAINTEXT_HOST://localhost:9092
    - KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=1
    - KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS=0
    - KAFKA_HEAP_OPTS=-Xms256m -Xmx256m
    - KAFKA_CONFLUENT_SUPPORT_METRICS_ENABLE=false
    - KAFKA_MESSAGE_MAX_BYTES=5242880
    - KAFKA_MAX_MESSAGE_BYTES=5242880
    healthcheck:
      interval: 1s
      retries: 5
      start_period: 60s
      test: nc -z broker $${DATAHUB_KAFKA_BROKER_PORT:-9092}
      timeout: 5s
    hostname: broker
    image: ${DATAHUB_CONFLUENT_KAFKA_IMAGE:-confluentinc/cp-kafka}:${DATAHUB_CONFLUENT_VERSION:-7.4.0}
    ports:
    - ${DATAHUB_MAPPED_KAFKA_BROKER_PORT:-9092}:9092
    volumes:
    - broker:/var/lib/kafka/data/
  datahub-actions:
    depends_on:
      datahub-gms:
        condition: service_healthy
    environment:
    - ACTIONS_CONFIG=${ACTIONS_CONFIG:-}
    - ACTIONS_EXTRA_PACKAGES=${ACTIONS_EXTRA_PACKAGES:-}
    - DATAHUB_GMS_HOST=datahub-gms
    - DATAHUB_GMS_PORT=8080
    - DATAHUB_GMS_PROTOCOL=http
    - DATAHUB_SYSTEM_CLIENT_ID=__datahub_system
    - DATAHUB_SYSTEM_CLIENT_SECRET=JohnSnowKnowsNothing
    - KAFKA_BOOTSTRAP_SERVER=broker:29092
    - KAFKA_PROPERTIES_SECURITY_PROTOCOL=PLAINTEXT
    - METADATA_AUDIT_EVENT_NAME=MetadataAuditEvent_v4
    - METADATA_CHANGE_LOG_VERSIONED_TOPIC_NAME=MetadataChangeLog_Versioned_v1
    - SCHEMA_REGISTRY_URL=http://schema-registry:8081
    hostname: actions
    image: ${DATAHUB_ACTIONS_IMAGE:-acryldata/datahub-actions}:${ACTIONS_VERSION:-head}
  datahub-frontend-react:
    depends_on:
      datahub-gms:
        condition: service_healthy
    environment:
    - DATAHUB_GMS_HOST=datahub-gms
    - DATAHUB_GMS_PORT=8080
    - DATAHUB_SECRET=YouKnowNothing
    - DATAHUB_APP_VERSION=1.0
    - DATAHUB_PLAY_MEM_BUFFER_SIZE=10MB
    - JAVA_OPTS=-Xms512m -Xmx512m -Dhttp.port=9002 -Dconfig.file=datahub-frontend/conf/application.conf -Djava.security.auth.login.config=datahub-frontend/conf/jaas.conf -Dlogback.configurationFile=datahub-frontend/conf/logback.xml -Dlogback.debug=false -Dpidfile.path=/dev/null
    - KAFKA_BOOTSTRAP_SERVER=broker:29092
    - DATAHUB_TRACKING_TOPIC=DataHubUsageEvent_v1
    - ELASTIC_CLIENT_HOST=elasticsearch
    - ELASTIC_CLIENT_PORT=9200
    hostname: datahub-frontend-react
    image: ${DATAHUB_FRONTEND_IMAGE:-acryldata/datahub-frontend-react}:${DATAHUB_VERSION:-head}
    ports:
    - ${DATAHUB_MAPPED_FRONTEND_PORT:-9002}:9002
    volumes:
    - ${HOME}/.datahub/plugins:/etc/datahub/plugins
  datahub-gms:
    depends_on:
      datahub-upgrade:
        condition: service_completed_successfully
    environment:
    - DATAHUB_SERVER_TYPE=${DATAHUB_SERVER_TYPE:-quickstart}
    - DATAHUB_TELEMETRY_ENABLED=${DATAHUB_TELEMETRY_ENABLED:-true}
    - DATAHUB_UPGRADE_HISTORY_KAFKA_CONSUMER_GROUP_ID=generic-duhe-consumer-job-client-gms
    - EBEAN_DATASOURCE_DRIVER=com.mysql.jdbc.Driver
    - EBEAN_DATASOURCE_HOST=mysql:3306
    - EBEAN_DATASOURCE_PASSWORD=datahub
    - EBEAN_DATASOURCE_URL=jdbc:mysql://mysql:3306/datahub?verifyServerCertificate=false&useSSL=true&useUnicode=yes&characterEncoding=UTF-8
    - EBEAN_DATASOURCE_USERNAME=datahub
    - ELASTICSEARCH_HOST=elasticsearch
    - ELASTICSEARCH_INDEX_BUILDER_MAPPINGS_REINDEX=true
    - ELASTICSEARCH_INDEX_BUILDER_SETTINGS_REINDEX=true
    - ELASTICSEARCH_PORT=9200
    - ENTITY_REGISTRY_CONFIG_PATH=/datahub/datahub-gms/resources/entity-registry.yml
    - ENTITY_SERVICE_ENABLE_RETENTION=true
    - ES_BULK_REFRESH_POLICY=WAIT_UNTIL
    - GRAPH_SERVICE_DIFF_MODE_ENABLED=true
    - GRAPH_SERVICE_IMPL=elasticsearch
    - JAVA_OPTS=-Xms1g -Xmx1g
    - KAFKA_BOOTSTRAP_SERVER=broker:29092
    - KAFKA_CONSUMER_STOP_ON_DESERIALIZATION_ERROR=${KAFKA_CONSUMER_STOP_ON_DESERIALIZATION_ERROR:-true}
    - KAFKA_SCHEMAREGISTRY_URL=http://schema-registry:8081
    - MAE_CONSUMER_ENABLED=true
    - MCE_CONSUMER_ENABLED=true
    - METADATA_SERVICE_AUTH_ENABLED=${METADATA_SERVICE_AUTH_ENABLED:-false}
    - PE_CONSUMER_ENABLED=true
    - UI_INGESTION_ENABLED=true
    healthcheck:
      interval: 1s
      retries: 3
      start_period: 90s
      test: curl -sS --fail http://datahub-gms:${DATAHUB_GMS_PORT:-8080}/health
      timeout: 5s
    hostname: datahub-gms
    image: ${DATAHUB_GMS_IMAGE:-acryldata/datahub-gms}:${DATAHUB_VERSION:-head}
    ports:
    - ${DATAHUB_MAPPED_GMS_PORT:-8080}:8080
    volumes:
    - ${HOME}/.datahub/plugins:/etc/datahub/plugins
  datahub-upgrade:
    command:
    - -u
    - SystemUpdate
    depends_on:
      elasticsearch-setup:
        condition: service_completed_successfully
      kafka-setup:
        condition: service_completed_successfully
      mysql-setup:
        condition: service_completed_successfully
    environment:
    - EBEAN_DATASOURCE_USERNAME=datahub
    - EBEAN_DATASOURCE_PASSWORD=datahub
    - EBEAN_DATASOURCE_HOST=mysql:3306
    - EBEAN_DATASOURCE_URL=jdbc:mysql://mysql:3306/datahub?verifyServerCertificate=false&useSSL=true&useUnicode=yes&characterEncoding=UTF-8
    - EBEAN_DATASOURCE_DRIVER=com.mysql.jdbc.Driver
    - KAFKA_BOOTSTRAP_SERVER=broker:29092
    - KAFKA_SCHEMAREGISTRY_URL=http://schema-registry:8081
    - ELASTICSEARCH_HOST=elasticsearch
    - ELASTICSEARCH_PORT=9200
    - ELASTICSEARCH_INDEX_BUILDER_MAPPINGS_REINDEX=true
    - ELASTICSEARCH_INDEX_BUILDER_SETTINGS_REINDEX=true
    - ELASTICSEARCH_BUILD_INDICES_CLONE_INDICES=false
    - GRAPH_SERVICE_IMPL=elasticsearch
    - DATAHUB_GMS_HOST=datahub-gms
    - DATAHUB_GMS_PORT=8080
    - ENTITY_REGISTRY_CONFIG_PATH=/datahub/datahub-gms/resources/entity-registry.yml
    - BACKFILL_BROWSE_PATHS_V2=true
    - REPROCESS_DEFAULT_BROWSE_PATHS_V2=false
    hostname: datahub-upgrade
    image: ${DATAHUB_UPGRADE_IMAGE:-acryldata/datahub-upgrade}:${DATAHUB_VERSION:-head}
    labels:
      datahub_setup_job: true
  elasticsearch:
    deploy:
      resources:
        limits:
          memory: 1G
    environment:
    - discovery.type=single-node
    - ${XPACK_SECURITY_ENABLED:-xpack.security.enabled=false}
    - ES_JAVA_OPTS=-Xms256m -Xmx512m -Dlog4j2.formatMsgNoLookups=true
    - OPENSEARCH_JAVA_OPTS=-Xms512m -Xmx512m -Dlog4j2.formatMsgNoLookups=true
    healthcheck:
      interval: 1s
      retries: 3
      start_period: 20s
      test: curl -sS --fail http://elasticsearch:$${DATAHUB_ELASTIC_PORT:-9200}/_cluster/health?wait_for_status=yellow&timeout=0s
      timeout: 5s
    hostname: elasticsearch
    image: ${DATAHUB_SEARCH_IMAGE:-elasticsearch}:${DATAHUB_SEARCH_TAG:-7.10.1}
    ports:
    - ${DATAHUB_MAPPED_ELASTIC_PORT:-9200}:9200
    volumes:
    - esdata:/usr/share/elasticsearch/data
  elasticsearch-setup:
    depends_on:
      elasticsearch:
        condition: service_healthy
    environment:
    - ELASTICSEARCH_USE_SSL=${ELASTICSEARCH_USE_SSL:-false}
    - USE_AWS_ELASTICSEARCH=${USE_AWS_ELASTICSEARCH:-false}
    - ELASTICSEARCH_HOST=elasticsearch
    - ELASTICSEARCH_PORT=9200
    - ELASTICSEARCH_PROTOCOL=http
    hostname: elasticsearch-setup
    image: ${DATAHUB_ELASTIC_SETUP_IMAGE:-acryldata/datahub-elasticsearch-setup}:${DATAHUB_VERSION:-head}
    labels:
      datahub_setup_job: true
  kafka-setup:
    depends_on:
      broker:
        condition: service_healthy
      schema-registry:
        condition: service_healthy
    environment:
    - DATAHUB_PRECREATE_TOPICS=${DATAHUB_PRECREATE_TOPICS:-false}
    - KAFKA_BOOTSTRAP_SERVER=broker:29092
    - KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181
    - USE_CONFLUENT_SCHEMA_REGISTRY=TRUE
    hostname: kafka-setup
    image: ${DATAHUB_KAFKA_SETUP_IMAGE:-acryldata/datahub-kafka-setup}:${DATAHUB_VERSION:-head}
    labels:
      datahub_setup_job: true
  mysql:
    command: --character-set-server=utf8mb4 --collation-server=utf8mb4_bin --default-authentication-plugin=mysql_native_password
    environment:
    - MYSQL_DATABASE=datahub
    - MYSQL_USER=datahub
    - MYSQL_PASSWORD=datahub
    - MYSQL_ROOT_PASSWORD=datahub
    healthcheck:
      interval: 1s
      retries: 5
      start_period: 20s
      test: mysqladmin ping -h mysql -u $$MYSQL_USER --password=$$MYSQL_PASSWORD
      timeout: 5s
    hostname: mysql
    image: mariadb:10.5.8
    ports:
    - ${DATAHUB_MAPPED_MYSQL_PORT:-3306}:3306
    restart: on-failure
    volumes:
    - mysqldata:/var/lib/mysql
  mysql-setup:
    depends_on:
      mysql:
        condition: service_healthy
    environment:
    - MYSQL_HOST=mysql
    - MYSQL_PORT=3306
    - MYSQL_USERNAME=datahub
    - MYSQL_PASSWORD=datahub
    - DATAHUB_DB_NAME=datahub
    hostname: mysql-setup
    image: ${DATAHUB_MYSQL_SETUP_IMAGE:-acryldata/datahub-mysql-setup}:${DATAHUB_VERSION:-head}
    labels:
      datahub_setup_job: true
  schema-registry:
    depends_on:
      broker:
        condition: service_healthy
    environment:
    - SCHEMA_REGISTRY_HOST_NAME=schemaregistry
    - SCHEMA_REGISTRY_KAFKASTORE_SECURITY_PROTOCOL=PLAINTEXT
    - SCHEMA_REGISTRY_KAFKASTORE_BOOTSTRAP_SERVERS=broker:29092
    healthcheck:
      interval: 1s
      retries: 3
      start_period: 60s
      test: nc -z schema-registry ${DATAHUB_SCHEMA_REGISTRY_PORT:-8081}
      timeout: 5s
    hostname: schema-registry
    image: ${DATAHUB_CONFLUENT_SCHEMA_REGISTRY_IMAGE:-confluentinc/cp-schema-registry}:${DATAHUB_CONFLUENT_VERSION:-7.4.0}
    ports:
    - ${DATAHUB_MAPPED_SCHEMA_REGISTRY_PORT:-8081}:8081
  zookeeper:
    environment:
    - ZOOKEEPER_CLIENT_PORT=2181
    - ZOOKEEPER_TICK_TIME=2000
    healthcheck:
      interval: 5s
      retries: 3
      start_period: 30s
      test: echo srvr | nc zookeeper $${DATAHUB_ZK_PORT:-2181}
      timeout: 5s
    hostname: zookeeper
    image: ${DATAHUB_CONFLUENT_ZOOKEEPER_IMAGE:-confluentinc/cp-zookeeper}:${DATAHUB_CONFLUENT_VERSION:-7.4.0}
    ports:
    - ${DATAHUB_MAPPED_ZK_PORT:-2181}:2181
    volumes:
    - zkdata:/var/lib/zookeeper/data
    - zklogs:/var/lib/zookeeper/log

  postgres:
    image: postgres:16.0
    volumes:
      - ./db/init-db.sql:/docker-entrypoint-initdb.d/db.sql
      - ./db/users.csv:/home/users.csv
    environment:
      POSTGRES_USER: airflow
      POSTGRES_PASSWORD: airflow
      POSTGRES_DB: netflix
    logging:
      options:
        max-size: 10m
        max-file: "3"
    healthcheck:
      test:
        - CMD
        - pg_isready
        - -U
        - airflow
      interval: 10s
      retries: 5
      start_period: 5s
    restart: always

   #Nessie catalog
  catalog:
    image: projectnessie/nessie
    container_name: catalog
    ports:
      - 19120:19120
      
  ##Storage
  storage:
    image: minio/minio
    container_name: storage
    environment:
      - MINIO_ROOT_USER=admin
      - MINIO_ROOT_PASSWORD=password
      - MINIO_DOMAIN=storage
    ports:
      - 9001:9001
      - 9000:9000
    command: [ "server", "/data", "--console-address", ":9001" ]
  # Minio Client Container
  mc:
    depends_on:
      - storage
    image: minio/mc
    container_name: mc
    environment:
      - AWS_ACCESS_KEY_ID=admin
      - AWS_SECRET_ACCESS_KEY=password
      - AWS_REGION=us-east-1
      - AWS_DEFAULT_REGION=us-east-1
    entrypoint: >
      /bin/sh -c " until (/usr/bin/mc config host add minio http://storage:9000 admin password) do echo '...waiting...' && sleep 1; done; /usr/bin/mc rm -r --force minio/warehouse; /usr/bin/mc mb minio/warehouse; /usr/bin/mc policy set public minio/warehouse; tail -f /dev/null " 
  
  ##Self management portal
  dremio:
    platform: linux/x86_64
    image: dremio/dremio-oss:latest
    ports:
      - 9047:9047
      - 31010:31010
      - 32010:32010
    container_name: dremio
    environment:
      - DREMIO_JAVA_SERVER_EXTRA_OPTS=-Dpaths.dist=file:///opt/dremio/data/dist

volumes:
  broker: null
  esdata: null
  mysqldata: null
  zkdata: null
  zklogs: null
  1. Перезапускаем, ждём, открываем Dremio localhost:9047 и повторяем шаги из прошлого урока по созданию пользователя и подключению Nessie, а потом идём настраивать в DataHub.
  2. Открываем Ingestions http://localhost:9002/ingestion.
  1. Нажимаем Create new source и в поиске ищем Dremio. Хоть есть и прямое подключение к Iceberg, лучше сразу добавить платформу обработки.
  1. Дальше добавляем конфигурацию.

YAML

source:
    type: dremio
    config:
        hostname: dremio #название сервиса из docker-compose
        port: 9047
        tls: false
        authentication_method: password #аутентификация через пароль
        username: admin #пользователь, которого вы создали в Dremio
        password: admin123 #пароль этого пользователя
        stateful_ingestion: #оставляем по умолчанию
            enabled: true
  1. Нажимаем Next и настраиваем параметры расписания (их можно не менять), на следующем шаге задаём идентификатор и завершаем настройку.
  1. Ждём, пока подтянутся метаданные первый раз.
  1. Как только всё завершилось успешно, выбираем на главной странице LakeHouse Dremio.
  1. Если его открыть, мы увидим только пользователя и сам источник.
  1. Добавим данных: в Dremio locahost:9047 открываем SQL Runner и добавляем скрипт.

SQL

CREATE TABLE lakehouse.titles (
    id BIGINT,
    title VARCHAR(256),
    rise_year int,
    description VARCHAR(4096)
);
INSERT INTO lakehouse.titles VALUES (1,'Test Movie',2024,'Any description')
  1. Нажимаем RUN, ждём, а затем вовращаемся в DataHub localhost:9002. И в Ingestions напротив Dremio запускаем RUN.
  1. После успешного завершения, выбрав на главной Dremio, можно увидеть нашу таблицу с данными.
  1. Если открыть таблицу, мы увидим схему, где можно проставить домен, документацию, владельца и другие параметры.
Во вкладке Lineage появится источник данных Dremio.
А за счёт добавления источника в домен, в домене мы можем увидеть все метаданные, которые с доменом связаны (сейчас только источник).
Стоит помнить, что каталог данных — это не просмотр данных в системе (такой глобальный DWH), а способ управлять данными в системе. Это решение проблем, связанных с обнаружением, понятностью и использованием данных.
При условии использования подхода DataMesh и полностью распределённым владением данными это необходимый инструмент, если компания хочет превратить данные в актив.
На этом практика подошла к концу! Осталось только закрепить новый опыт небольшим тестом и подвести итоги урока.

Задание 1

Какие из следующих условий обеспечивают успешную реализацию Data Mesh?

Задание 2

Компания планирует внедрить Data Mesh для лучшего управления данными. Некоторые сотрудники считают, что для этого потребуется полная замена существующей IT-инфраструктуры.
Какие аргументы лучше всего объясняют, как компании можно внедрить Data Mesh без полной перестройки технологической среды?

Итоги

  • DataHub — это инструмент для управления метаданными, который помогает каталогизировать данные, связывать их с доменами и владельцами, а также отслеживать lineage, обеспечивая удобство поиска и контроль качества.
  • В уроке настраиваем DataHub и интегрируем его с источниками данных, такими как PostgreSQL и Dremio, добавить домены и термины, а также автоматизировать сбор метаданных.
  • Интеграция DataHub с Data LakeHouse на основе MinIO, Nessie и Dremio позволяет создавать гибкую инфраструктуру для хранения, обработки и анализа данных в рамках подхода Data Mesh.