streamsets/transformer

StreamSets Transformer Docker镜像文档

镜像概述和主要用途

StreamSets Transformer Docker镜像是StreamSets Transformer的容器化部署方案，用于快速搭建数据转换和处理服务。该镜像封装了StreamSets Transformer的核心功能，支持通过Docker便捷部署，适用于数据处理管道的快速构建、测试和运行，同时提供灵活的配置和数据持久化能力。

核心功能和特性

• 便捷部署：通过Docker容器化部署，简化环境配置和依赖管理
• 自定义配置：支持挂载本地配置文件覆盖默认配置，或通过环境变量动态修改配置参数
• 数据持久化：支持Docker数据卷挂载，确保数据目录和阶段库文件持久化存储
• 灵活端口映射：可自定义端口映射，满足不同网络环境需求
• 默认凭据：内置默认登录凭据（admin/admin），便于快速访问管理界面

使用场景和适用范围

• 数据处理管道的开发、测试和生产环境部署
• 需要快速搭建数据转换服务的场景
• 对数据处理配置灵活性和数据持久化有需求的场景
• 容器化环境（如Docker、Kubernetes）中的数据处理组件集成

详细使用方法和配置说明

基本使用

通过以下命令启动默认配置的StreamSets Transformer容器：

bash
docker run --restart on-failure -p 19630:19630 -d --name streamsets-transformer docker.xuanyuan.run/streamsets/transformer

• 默认Web管理界面端口：***
• 默认登录凭据：用户名admin，密码admin

自定义配置

1. 挂载自定义配置文件

可通过挂载本地配置文件到容器的/etc/transformer目录或特定配置文件路径，覆盖默认配置：

bash
docker run -v $PWD/transformer.properties:/etc/transformer/transformer.properties:ro \
  -p 19630:19630 -d docker.xuanyuan.run/streamsets/transformer transformer

2. 环境变量覆盖配置

通过环境变量修改transformer.properties中的配置参数，环境变量需以TRANSFORMER_CONF_为前缀，参数名使用下划线代替点号。例如，修改HTTP端口：

bash
docker run -e TRANSFORMER_CONF_HTTP_PORT=12345 \
  -p 12345:12345 -d docker.xuanyuan.run/streamsets/transformer

数据卷管理

为确保数据目录（默认/data）和阶段库的持久化，建议创建并挂载专用数据卷。

1. 创建数据卷

bash
docker volume create --name transformer-data

2. 挂载数据卷运行容器

bash
docker run -v transformer-data:/data -P -d docker.xuanyuan.run/streamsets/transformer transformer

3. 挂载本地目录作为数据卷

也可直接挂载本地目录到容器的数据目录：

bash
docker run -v $PWD/transformer-data:/data:rw \
  -p 19630:19630 -d docker.xuanyuan.run/streamsets/transformer transformer

完整自定义配置示例

以下示例展示如何同时使用自定义配置文件、本地数据目录和端口映射：

bash
docker run -v $PWD/transformer.properties:/etc/transformer/transformer.properties:ro \
  -v $PWD/transformer-data:/data:rw \
  -p 19630:19630 \
  -d docker.xuanyuan.run/streamsets/transformer transformer

注意事项

Docker中管理数据有两种方式：

• 数据卷：创建时为空，适用于需要持久化新数据的场景（如上述transformer-data卷）
• 数据容器：基于镜像创建，包含基础容器的初始文件，适用于需要修改并持久化已有配置文件的场景

详细说明参见https://docs.docker.com/engine/tutorials/dockervolumes/%E3%80%82