bytez/mario-math-reasoning_mario-ovm-7b-v1

MARIO-OVM-7B-v1 镜像说明

镜像概述

本镜像包含MARIO-Math-Reasoning/MARIO-OVM-7B-v1模型，是一款专注于数学推理的文本生成模型。支持通过Docker容器本地部署，提供灵活的运行配置选项，包括本地权重缓存、GPU加速及多样化的生成参数调整。

核心功能

1. 数学推理文本生成: 基于输入文本生成符合数学逻辑的内容；
2. 本地权重缓存: 通过挂载目录保存模型权重，避免重复下载；
3. 多设备支持: 可在CPU或GPU上运行，自动适配或强制指定设备；
4. 灵活参数配置: 支持调整生成长度、温度、采样策略等参数；
5. 流式响应: 支持以流模式返回生成结果，适用于实时场景。

使用场景

• 数学问题的自动解答与推理；
• 教育领域的数学辅助教学工具；
• 数学相关文本内容的生成与扩展；
• 需要数学推理能力的AI应用集成。

配置说明

环境变量

• KEY: Bytez API密钥（需从Bytez平台获取）；
• PORT: 容器监听端口（默认8000）；
• DEVICE: 运行设备（可选值：auto/cuda/cpu，默认auto）；
• HF_HOME: 模型权重缓存目录（配合-v挂载本地目录使用）。

生成参数

长度控制

• max_new_tokens: 生成的最大新token数；
• min_new_tokens: 生成的最小新token数；
• early_stopping: 束搜索的停止条件；
• max_time: 计算的最大时间限制。

生成策略

• do_sample: 是否使用采样（默认False，即贪心解码）；
• num_beams: 束搜索的束数量（默认1）；
• use_cache: 是否使用缓存加速解码（默认True）。

Logits调整

• temperature: 调整token概率的温度值（默认1.0）；
• top_k: 保留的最高概率token数（默认50）；
• top_p: 累积概率阈值（默认1.0）；
• repetition_penalty: 重复惩罚系数（默认1.0）。

更多参数详见https://github.com/huggingface/transformers/blob/v4.38.2/src/transformers/generation/configuration_utils.py。

Docker部署示例

1. 拉取镜像

bash
docker pull docker.xuanyuan.run/bytez/mario-math-reasoning_mario-ovm-7b-v1

2. 基础运行（CPU）

bash
docker run -it \
  -e KEY=YOUR_BYTEZ_API_KEY \
  -e PORT=8000 \
  -p 8000:8000 \
  docker.xuanyuan.run/bytez/mario-math-reasoning_mario-ovm-7b-v1

3. 本地缓存权重

bash
docker run -it \
  -v /本地缓存目录:/server/model \
  -e HF_HOME=/server/model \
  -e KEY=YOUR_BYTEZ_API_KEY \
  -p 8000:8000 \
  docker.xuanyuan.run/bytez/mario-math-reasoning_mario-ovm-7b-v1

4. GPU运行

bash
docker run -it \
  --gpus all \
  -e KEY=YOUR_BYTEZ_API_KEY \
  -p 8000:8000 \
  docker.xuanyuan.run/bytez/mario-math-reasoning_mario-ovm-7b-v1

5. 发送推理请求

bash
curl --location 'http://0.0.0.0:8000/run' \
--header 'Content-Type: application/json' \
--data-raw '{
  "text": "Once upon a time there was a ",
  "stream": false,
  "params": {
    "max_new_tokens": 50,
    "temperature": 1.3,
    "top_p": 1.2
  }
}'

使用本地部署的模型可增强隐私性与控制权，适用于各类数学推理相关项目开发。