openeuler/vllm-cpu

vLLM Ascend Docker镜像文档

镜像概述

vLLM Ascend Docker镜像是由https://gitee.com/openeuler/cloudnative%E7%BB%B4%E6%8A%A4%E7%9A%84%E5%AE%98%E6%96%B9%E9%95%9C%E5%83%8F%EF%BC%8C%E5%9F%BA%E4%BA%8Ehttps://repo.openeuler.org/%E6%9E%84%E5%BB%BA%EF%BC%8C%E6%8F%90%E4%BE%9B%E5%85%8D%E8%B4%B9%E4%BD%BF%E7%94%A8%E4%B8%94%E6%97%A0%E6%AF%8F%E7%94%A8%E6%88%B7%E9%80%9F%E7%8E%87%E9%99%90%E5%88%B6%E3%80%82vLLM%E6%98%AF%E4%B8%80%E4%B8%AA%E5%BF%AB%E9%80%9F%E6%98%93%E7%94%A8%E7%9A%84%E5%A4%A7%E5%9E%8B%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%EF%BC%88LLM%EF%BC%89%E6%8E%A8%E7%90%86%E4%B8%8E%E6%9C%8D%E5%8A%A1%E5%BA%93%EF%BC%8C%E6%9C%80%E5%88%9D%E7%94%B1%E5%8A%A0%E5%B7%9E%E5%A4%A7%E5%AD%A6%E4%BC%AF%E5%85%8B%E5%88%A9%E5%88%86%E6%A0%A1Sky%E8%AE%A1%E7%AE%97%E5%AE%9E%E9%AA%8C%E5%AE%A4%E5%BC%80%E5%8F%91%EF%BC%8C%E7%8E%B0%E5%B7%B2%E5%8F%91%E5%B1%95%E4%B8%BA%E7%A4%BE%E5%8C%BA%E9%A9%B1%E5%8A%A8%E9%A1%B9%E7%9B%AE%EF%BC%8C%E8%9E%8D%E5%90%88%E5%AD%A6%E6%9C%AF%E7%95%8C%E4%B8%8E%E5%B7%A5%E4%B8%9A%E7%95%8C%E8%B4%A1%E7%8C%AE%E3%80%82

核心功能与特性

vLLM具备以下核心优势：

• 领先的服务吞吐量：优化的推理性能，支持高并发请求处理
• 高效内存管理：采用https://blog.vllm.ai/2023/06/20/vllm.html%E6%8A%80%E6%9C%AF%E9%AB%98%E6%95%88%E7%AE%A1%E7%90%86%E6%B3%A8%E6%84%8F%E5%8A%9B%E9%94%AE%E5%80%BC%E5%AF%B9%E5%86%85%E5%AD%98
• 连续批处理：动态批处理传入请求，提升资源利用率
• 快速模型执行：通过CUDA/HIP图加速模型运行
• 丰富量化支持：兼容https://arxiv.org/abs/2210.***%E3%80%81https://arxiv.org/abs/2306.00978%E3%80%81INT4%E3%80%81INT8%E5%8F%8AFP8%E9%87%8F%E5%8C%96
• 优化内核：集成FlashAttention和FlashInfer的CUDA内核优化
• 推测解码：提升生成速度的推理优化技术
• 分块预填充：优化长文本输入处理效率

更多技术细节可参考https://arxiv.org/abs/2309.06180%EF%BC%88SOSP 2023）及https://docs.vllm.ai/%E3%80%82

支持的标签及架构

vLLM Docker镜像标签由vLLM版本和基础镜像版本组成，具体信息如下：

使用场景与适用范围

适用于需要高性能LLM推理和服务部署的场景，包括但不限于：

• 离线批量文本生成任务
• 低延迟在线LLM服务部署
• 学术研究与工业界语言模型应用开发

支持的硬件架构：Intel/AMD x86（amd64）、ARM AArch64（arm64）。

使用方法与配置说明

环境准备

确保已安装Docker环境，支持amd64或arm64架构。

快速启动容器

bash
# 启动vLLM容器，映射8000端口
docker run --rm --name vllm -p 8000:8000 -it --entrypoint bash docker.xuanyuan.run/openeuler/vllm-cpu:latest

离线推理示例

加速模型下载

可使用Modelscope镜像加速模型下载：

bash
export VLLM_USE_MODELSCOPE=true

Python推理脚本

安装vLLM后，可通过以下Python脚本进行离线批量推理（首次运行需3-5分钟下载模型，取决于网络速度）：

python
from docker.xuanyuan.run/vllm import LLM, SamplingParams

prompts = [
    "Hello, my name is",
    "The future of AI is",
]
sampling_params = SamplingParams(temperature=0.8, top_p=0.95)
# 模型下载（首次运行，10 MB/s速度下约3-5分钟）
llm = LLM(model="Qwen/Qwen3-8B")

outputs = llm.generate(prompts, sampling_params)

# 输出结果
for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")

问题与反馈

如有疑问或需使用特殊功能，请通过https://gitee.com/openeuler/openeuler-docker-images%E4%BB%93%E5%BA%93%E6%8F%90%E4%BA%A4issue%E6%88%96Pull Request。