acryldata/datahub-ingestion

Datahub Ingestion 镜像文档

镜像概述

Datahub Ingestion镜像是Datahub生态的核心组件之一，专注于数据元数据的采集与导入。该镜像提供标准化工具链，支持从各类数据源（数据库、数据仓库、流处理平台等）抽取元数据（如表结构、字段定义、分区信息、数据血缘等），经转换后加载至Datahub后端，为数据目录构建、数据治理及数据资产统一管理提供基础支撑。

核心功能与特性

多源适配能力

• 支持主流数据源：包括关系型数据库（MySQL、PostgreSQL、Oracle）、数据仓库（BigQuery、***、Redshift）、消息队列（Kafka）、大数据框架（Hive、Spark）、BI工具（Tableau、Power BI）等。
• 可扩展数据源：通过插件机制支持自定义数据源接入。

灵活的摄入模式

• 批处理摄入：适用于全量元数据同步，支持按周期调度（如每日/每周执行）。
• 流式摄入：针对动态更新的数据源（如Kafka主题元数据），支持近实时元数据同步。

丰富的元数据类型

• 基础元数据：表/视图名称、字段名、数据类型、描述、所有者。
• 扩展元数据：分区信息、统计数据（行数、大小）、数据血缘（上游依赖、下游消费）、标签与分类。

配置与集成能力

• 基于YAML配置文件定义摄入任务，支持自定义转换规则（如字段重命名、过滤）。
• 与Datahub后端（GMS服务）无缝对接，支持HTTP/HTTPS协议及认证机制（如Token认证）。

使用场景

1. 数据治理流程：自动化采集跨系统元数据，构建统一数据目录，支撑数据质量监控与合规审计。
2. 数据资产盘点：快速梳理企业数据资产分布，识别关键数据实体及依赖关系。
3. 数据开发提效：帮助数据工程师快速定位数据源结构，减少跨团队沟通成本。
4. 元数据变更追踪：通过流式摄入实时捕获数据源结构变更，确保数据目录时效性。

使用方法与配置说明

前提条件

• 已部署Datahub后端服务（GMS、Frontend等），并可通过网络访问。
• 目标数据源已配置访问权限（如数据库账号、API密钥等）。

镜像拉取

bash
docker pull docker.xuanyuan.run/datahub/ingestion:latest

基本使用步骤

1. 准备配置文件：创建YAML格式的摄入任务配置文件（如ingestion_config.yaml），定义数据源（source）、目标（sink）及转换规则（transformers）。
2. 运行摄入命令：通过docker run执行摄入任务，挂载配置文件并指定Datahub后端地址。

配置文件示例（MySQL数据源）

yaml
# ingestion_config.yaml
source:
  type: mysql
  config:
    username: "db_user"
    password: "db_pass"
    host_port: "mysql-host:3306"
    database: "target_db"
    include_tables: ["orders.*", "users.*"]  # 仅摄入orders和users库下的表

sink:
  type: datahub
  config:
    server: "http://datahub-gms:8080"  # Datahub GMS服务地址
    token: "datahub_auth_token"  # 若启用认证，需填写Token

transformers:
  - type: "add_dataset_tags"
    config:
      tags: ["mysql", "production"]  # 为摄入的元数据添加标签

执行摄入任务

bash
docker run --rm \
  -v $(pwd)/ingestion_config.yaml:/config/ingestion_config.yaml \
  docker.xuanyuan.run/datahub/ingestion:latest \
  ingest -c /config/ingestion_config.yaml

Docker Compose配置示例

yaml
# docker-compose.yml
version: "3.8"
services:
  datahub-ingestion:
    image: docker.xuanyuan.run/datahub/ingestion:latest
    volumes:
      - ./ingestion_config.yaml:/config/ingestion_config.yaml
    environment:
      - DATAHUB_GMS_ENDPOINT=http://datahub-gms:8080
      - DATAHUB_AUTH_TOKEN=your_auth_token
    command: ingest -c /config/ingestion_config.yaml

关键配置参数

环境变量

配置文件核心字段

• source.type：数据源类型（如mysql、snowflake、kafka等），需与对应数据源插件匹配。
• source.config：数据源连接参数（如账号、密码、地址、过滤规则等），因数据源类型而异。
• sink.type：固定为datahub，表示目标为Datahub平台。
• sink.config：Datahub连接参数（如server、token、超时时间等）。
• transformers：元数据转换规则列表，支持添加标签、过滤字段、重命名等操作。

常见问题

• 数据源连接失败：检查配置文件中数据源地址、账号密码是否正确，网络是否通畅。
• 元数据未更新至Datahub：确认Datahub GMS服务是否正常运行，DATAHUB_GMS_ENDPOINT是否配置正确。
• 摄入性能优化：对于大规模数据源，可通过配置source.config.limit限制单次摄入数据量，或启用批处理分片。

版本与更新

• 镜像标签遵循Datahub版本号（如v0.12.0），推荐使用与Datahub后端一致的版本以确保兼容性。
• 最新版本信息及更新日志可参考Datahub官方文档。