linkedin/datahub-mae-consumer

DataHub MAE Consumer 镜像文档

概述

DataHub MAE Consumer是LinkedIn开源数据治理平台DataHub的核心组件之一，专门用于消费和处理元数据审计事件(Metadata Audit Events, MAE)。该组件从消息队列（如Kafka）接收元数据变更事件，进行解析、验证后更新至DataHub元数据存储，为数据治理流程提供元数据变更跟踪与审计能力。

核心功能与特性

• MAE事件消费：从指定Kafka主题持续消费元数据审计事件
• 事件处理：对原始MAE事件进行格式解析、数据验证和标准化处理
• 元数据存储集成：将处理后的事件数据同步至DataHub元数据存储（如Elasticsearch、PostgreSQL）
• 可配置化：支持通过环境变量配置Kafka连接、存储参数及消费策略
• 高可靠性：支持故障恢复与事件重试机制，确保审计数据完整性

使用场景

• DataHub平台部署中需跟踪元数据变更历史的场景
• 数据治理流程中需记录数据资产创建、更新、删除操作审计日志的场景
• 构建元数据变更触发的自动化工作流（如数据质量监控、访问权限调整）

使用方法

前提条件

• 已部署DataHub核心服务（含Kafka、ZooKeeper、GMS等组件）
• 已创建MAE事件Kafka主题（默认主题名：metadata_audit_events）
• 网络可访问DataHub的Kafka集群及元数据存储服务

镜像拉取

bash
docker pull docker.xuanyuan.run/linkedin/datahub-mae-consumer:latest

基本部署（docker run）

bash
docker run -d \
  --name datahub-mae-consumer \
  -e KAFKA_BOOTSTRAP_SERVERS=kafka:9092 \
  -e ELASTICSEARCH_HOST=elasticsearch:9200 \
  -e POSTGRES_HOST=postgres:5432 \
  -e POSTGRES_USER=datahub \
  -e POSTGRES_PASSWORD=datahub \
  -e POSTGRES_DB=datahub \
  docker.xuanyuan.run/linkedin/datahub-mae-consumer:latest

核心配置参数

通过环境变量配置关键参数，常用配置如下：

Docker Compose配置示例

yaml
version: '3.8'
services:
  mae-consumer:
    image: docker.xuanyuan.run/linkedin/datahub-mae-consumer:latest
    container_name: datahub-mae-consumer
    environment:
      - KAFKA_BOOTSTRAP_SERVERS=kafka:9092
      - KAFKA_TOPIC_NAME=metadata_audit_events
      - ELASTICSEARCH_HOST=elasticsearch:9200
      - POSTGRES_HOST=postgres:5432
      - POSTGRES_USER=datahub
      - POSTGRES_PASSWORD=datahub
      - POSTGRES_DB=datahub
      - CONSUMER_THREADS=3
    depends_on:
      - kafka
      - elasticsearch
      - postgres

注意事项

• 生产环境建议配置Kafka消费者组ID，确保故障恢复后从正确偏移量消费
• 根据Kafka主题分区数调整CONSUMER_THREADS参数以优化性能
• 需确保Kafka主题已创建并配置正确的分区与副本策略
• 详细配置及高级用法请参考https://github.com/linkedin/datahub