paperspace/tf-aggregator

Tensorflow Model Aggregator镜像说明

镜像概述

paperspace/tf-aggregator是基于Tensorflow 1.13 Python3构建的工具镜像，专注于对Tensorflow checkpoint文件生成多维度聚合统计数据，帮助用户高效分析模型训练过程中的指标变化。

核心功能

• 针对Tensorflow checkpoint文件生成聚合统计（包含mean、amin、amax、median、std、var等操作）
• 支持输出格式为JSON或Tensorboard summary文件
• 可灵活指定主路径、子路径结构及输出路径

使用场景

• 机器学习模型训练后，批量分析多个checkpoint文件的指标趋势
• 生成结构化统计数据用于模型性能评估报告或可视化展示
• 自动化处理Tensorflow训练结果，简化指标分析流程

配置说明

镜像支持以下命令行参数：

部署示例

Docker Run命令

bash
docker run -v /本地训练数据路径:/app/data docker.xuanyuan.run/paperspace/tf-aggregator \
  --path /app/data \
  --subpaths eval \
  --format json \
  --output /app/data/aggregated_results

说明：将本地训练数据目录挂载到容器的/app/data路径，指定主路径为/app/data，子路径为eval，输出格式为JSON，结果保存到/app/data/aggregated_results目录。

示例输出（JSON格式）

json
[
  {
    "session":"eval",
    "scalars":[
      {
        "scalar":"accuracy",
        "data":[
          {"operation":"mean","checkpoints":[{"checkpoint":100,"value":0.1747},{"checkpoint":1100,"value":0.7764}]},
          {"operation":"amin","checkpoints":[{"checkpoint":100,"value":0.1747},{"checkpoint":1100,"value":0.7764}]},
          {"operation":"amax","checkpoints":[{"checkpoint":100,"value":0.1747},{"checkpoint":1100,"value":0.7764}]},
          {"operation":"median","checkpoints":[{"checkpoint":100,"value":0.1747},{"checkpoint":1100,"value":0.7764}]},
          {"operation":"std","checkpoints":[{"checkpoint":100,"value":0.0},{"checkpoint":1100,"value":0.0}]},
          {"operation":"var","checkpoints":[{"checkpoint":100,"value":0.0},{"checkpoint":1100,"value":0.0}]}
        ]
      }
    ]
  }
]