streamsets/tests

StreamSets Product Tests Docker 镜像文档

一、镜像概述和主要用途

StreamSets Product Tests 镜像为 StreamSets 数据集成产品（如 Data Collector、Transformer、Control Hub 等）提供标准化的测试环境与执行框架。该镜像集成了测试工具链、预置测试用例及报告生成功能，旨在简化 StreamSets 产品的功能验证、兼容性测试及自定义测试流程，支持开发、测试及 CI/CD 场景下的自动化测试需求。

二、核心功能和特性

1. 测试环境标准化

• 内置 Java、Python 等依赖环境，无需额外配置测试运行时。
• 预集成 StreamSets 产品测试 SDK 及 API 客户端，支持与产品组件无缝交互。

2. 多场景测试支持

• 覆盖功能测试（如数据管道创建/运行、连接器兼容性）、性能测试（如吞吐量、稳定性）及兼容性测试（跨版本、跨平台验证）。

3. 自动化测试流程

• 支持命令行指定测试套件、用例过滤及并行执行，提升测试效率。
• 内置测试报告生成工具，输出 HTML/JSON 格式报告，包含用例通过率、错误日志等关键指标。

4. 灵活的用例扩展

• 支持挂载本地自定义测试用例，适配用户特定场景需求。
• 兼容 JUnit、PyTest 等主流测试框架，便于集成已有测试资产。

5. 版本兼容性验证

• 可指定目标 StreamSets 产品版本，自动拉取对应版本镜像并执行兼容性测试。

三、使用场景和适用范围

适用场景

• 开发团队本地测试：开发人员在本地快速验证代码变更对 StreamSets 产品功能的影响。
• CI/CD 流水线集成：作为流水线环节自动执行测试，确保代码合并前通过功能验证。
• 版本兼容性验证：测试 StreamSets 产品新版本与现有数据管道、连接器的兼容性。
• 自定义测试用例执行：运行用户编写的业务场景测试用例，验证特定数据处理逻辑。

适用范围

• 支持产品：StreamSets Data Collector、Transformer、Control Hub 等主流组件。
• 测试类型：功能测试、集成测试、兼容性测试、部分性能测试（需额外配置资源）。
• 用户群体：StreamSets 产品开发人员、企业内部测试团队、第三方集成开发者。

四、详细使用方法和配置说明

1. 获取镜像

通过 Docker Hub 或私有仓库拉取镜像：

bash
docker pull docker.xuanyuan.run/streamsets/product-tests:latest  # 最新版本
# 或指定版本（如 5.5.0）
docker pull docker.xuanyuan.run/streamsets/product-tests:5.5.0

2. 基本使用流程

2.1 运行默认测试套件

执行预置的基础功能测试用例（以 StreamSets Data Collector 为例）：

bash
docker run --rm \
  -e STREAMSETS_PRODUCT=datacollector \  # 指定测试产品（datacollector/transformer/controlhub）
  -e STREAMSETS_VERSION=5.5.0 \          # 目标测试版本
  streamsets/product-tests:latest

2.2 自定义测试用例执行

挂载本地测试用例目录（需遵循镜像测试用例目录结构）：

bash
docker run --rm \
  -v /local/testcases:/tests/custom \    # 本地测试用例目录挂载到容器内
  -e TEST_SUITE=custom \                 # 指定执行自定义测试套件
  -e STREAMSETS_PRODUCT=datacollector \
  streamsets/product-tests:latest

2.3 测试报告持久化

挂载目录保存测试报告（默认路径 /tests/reports）：

bash
docker run --rm \
  -v /local/reports:/tests/reports \     # 本地目录接收测试报告
  -e TEST_REPORT_FORMAT=html \           # 报告格式（html/json/xml）
  streamsets/product-tests:latest

3. 核心配置参数说明

3.1 环境变量（必填）

3.2 环境变量（可选）

3.3 数据卷挂载（推荐）

四、Docker 部署方案示例

1. 基础测试执行示例

运行 StreamSets Data Collector 5.5.0 版本的基础功能测试，并输出 HTML 报告：

bash
docker run --rm \
  -e STREAMSETS_PRODUCT=datacollector \
  -e STREAMSETS_VERSION=5.5.0 \
  -e TEST_REPORT_FORMAT=html \
  -v $(pwd)/reports:/tests/reports \  # 当前目录下 reports 文件夹接收报告
  streamsets/product-tests:latest

2. 自定义测试用例执行示例

挂载本地测试用例，执行自定义测试套件：

bash
docker run --rm \
  -e STREAMSETS_PRODUCT=transformer \
  -e STREAMSETS_VERSION=5.4.1 \
  -e TEST_SUITE=custom \
  -v /local/custom-tests:/tests/custom \  # 本地测试用例目录
  -v /local/reports:/tests/reports \
  streamsets/product-tests:latest

3. CI/CD 流水线集成示例（GitLab CI）

在 .gitlab-ci.yml 中集成测试步骤：

yaml
stages:
  - test

streamsets-test:
  stage: test
  image: docker.xuanyuan.run/streamsets/product-tests:latest
  variables:
    STREAMSETS_PRODUCT: "datacollector"
    STREAMSETS_VERSION: "5.5.0"
    TEST_SUITE: "compatibility"
  script:
    - /tests/run_tests.sh  # 镜像内置测试执行脚本
  artifacts:
    paths:
      - /tests/reports/  # 收集测试报告作为流水线产物

五、注意事项

1. 版本匹配：STREAMSETS_VERSION 需与目标产品版本一致，避免因 API 变更导致测试失败。
2. 资源配置：性能测试场景需调整容器 CPU/内存限制（如 --cpus 4 --memory 8g），避免资源瓶颈影响测试结果。
3. 网络隔离：若测试涉及外部系统（如数据库、消息队列），需通过 --network 参数将容器加入目标网络。
4. 权限问题：挂载本地目录时确保容器用户（默认 testsuser）对目录有读写权限，可通过 -u root 临时提升权限调试。

六、故障排查

• 测试超时：检查目标产品服务是否正常启动，或通过 LOG_LEVEL=DEBUG 查看详细日志。
• 报告生成失败：确认 TEST_REPORT_PATH 目录可写，或尝试挂载空目录避免权限冲突。
• 自定义用例报错：检查用例依赖是否齐全，可通过 docker exec -it <容器ID> /bin/bash 进入容器调试。