mgibio/standalone-input-staging

mgibio/standalone-input-staging 镜像文档

镜像概述

mgibio/standalone-input-staging 是一个用于CWL（Common Workflow Language）工作流输入文件管理的Docker镜像。该镜像包含stager.py脚本，可将CWL工作流的所有输入文件集中到单个目录，从而减少Cromwell工作流执行引擎运行时的不必要文件复制操作，优化工作流运行效率。

核心功能与特性

核心功能

• 将CWL工作流的所有输入文件集中复制到指定位置
• 生成可直接用于工作流运行的新YAML输入文件
• 减少Cromwell执行过程中的文件复制操作

主要特性

• 自动处理secondaryFiles（需提供workflow.cwl文件）
• 输出文件命名规则：在原输入文件名前添加"staged_"前缀
• 支持YAML和JSON格式的输入文件

使用场景

适用于使用Cromwell执行CWL工作流前，需要集中管理分散的输入文件以优化文件处理效率的场景。特别适合输入文件分布在多个路径或存在大量重复文件复制操作的工作流环境。

使用方法

基本运行命令

在mgibio/standalone-input-staging镜像中执行stager.py脚本：

bash
docker run --rm -v /local/input/path:/inputs -v /local/staging/path:/staging docker.xuanyuan.run/mgibio/standalone-input-staging \
  python /usr/bin/stager.py /inputs/input.yaml /staging /inputs/workflow.cwl

参数说明

• <input yaml | input json>: 原始工作流输入文件路径（YAML或JSON格式）
• <staging_directory>: 用于集中存放输入文件的目标目录路径
• <workflow.cwl>: CWL工作流定义文件路径，用于解析secondaryFiles

输出说明

执行成功后，将在原始输入文件所在目录生成一个新文件，文件名为原输入文件名前添加"staged_"前缀（例如：input.yaml → staged_input.yaml）。该新文件可直接作为输入参数用于Cromwell运行工作流。

注意事项

• 文件冲突处理：当前版本会忽略同名文件，此行为未来可能调整
• 依赖要求：必须提供workflow.cwl文件才能正确处理secondaryFiles
• 使用限制：目前主要作为独立脚本使用，但存在可集成到工作流中的解决方法
• 未来更新：即将推出的更新将提升workflow.cwl文件解析的安全性，但不会改变现有使用方式和输出格式
• 链接支持：可能支持传递文件链接给Cromwell，从而避免实际文件复制（实验性功能）