vLLM 高性能推理与服务镜像
vLLM 是面向大语言模型（LLM）推理与服务的高性能引擎项目，强调高吞吐、低延迟与显存高效利用，支持将模型以 OpenAI 兼容 API 形式对外提供服务，并覆盖 GPU/TPU 等多种硬件场景，适合构建生产级模型服务。 https://vllm.ai
vLLM 是一个面向大语言模型（LLM）推理与在线服务的高性能引擎，目标是用更低的延迟与更高的吞吐把模型稳定地“跑成服务”。它的价值不在于“能跑”，而在于“跑得快、跑得稳、跑得省”。
核心能力方面，vLLM 通过连续批处理（Continuous Batching）把新请求动态并入正在运行的批次，提升 GPU/加速卡利用率，实现高吞吐推理。通过 PagedAttention 等内存管理思路减少 KV Cache 碎片，提高同等显存下的并发与可服务长度，让显存使用更省。支持以 OpenAI 兼容 API 形式对外提供服务，便于复用现有的 SDK/调用方式（如对话与补全等接口），降低接入成本。面向不同硬件与运行环境（如 GPU/TPU）提供可用的部署形态，方便在本地、私有化或云环境中落地。
适用场景包括企业/团队自建模型服务，把模型部署到内网或专有环境，降低外部依赖并提升数据可控性。高并发对话/生成场景，需要在同等算力下服务更多并发请求、追求更稳定的延迟分位。研发验证与性能评估，对不同模型、参数、并发策略进行对比测试与容量规划。
选择建议：如果你的目标是“像调用 OpenAI 一样调用自建模型服务”，优先选择提供 OpenAI 兼容服务形态的镜像。如果你的运行环境是 TPU 或需要在 TPU 上做推理验证，则选择对应的 TPU 形态镜像。
vLLM 高性能推理与服务镜像集合
vllm-openai
vLLM 高性能推理与服务镜像
vllm/vllm-openai：vLLM 高性能大模型推理框架的官方 Docker 镜像，封装 OpenAI API 兼容的推理服务；支持 PagedAttention 与连续批处理，吞吐量可达传统引擎 10-24 倍；支持 50+ 开源模型与量化方案，适用开源模型部署、OpenAI 应用本地化与高并发生产场景。
311 次收藏38914143 次下载
--更新
vllm-tpu
vLLM 高性能推理与服务镜像
vLLM框架在TPU上运行的Docker镜像仓库
3 次收藏266303 次下载
--更新
vllm-omni
vLLM 高性能推理与服务镜像
暂无描述
8 次收藏419617 次下载
--更新
vllm-omni-rocm
vLLM 高性能推理与服务镜像
暂无描述
3 次收藏20037 次下载
--更新
vllm-openai-rocm
vLLM 高性能推理与服务镜像
暂无描述
6 次收藏437472 次下载
--更新
vllm-router
vLLM 高性能推理与服务镜像
暂无描述
1 次收藏34192 次下载
--更新
vllm-openai-cpu
vLLM 高性能推理与服务镜像
暂无描述
2 次收藏401888 次下载
--更新
vime
vLLM 高性能推理与服务镜像
暂无描述
19426 次下载
--更新
vime-rocm
vLLM 高性能推理与服务镜像
暂无描述
4611 次下载
--更新
vllm-openai-xpu
vLLM 高性能推理与服务镜像
暂无描述
104285 次下载
--更新
agentic-api
vLLM 高性能推理与服务镜像
暂无描述
1815 次下载
--更新
推荐技术栈
推理与服务形态
OpenAI Compatible APILLM Serving高吞吐推理
镜像与部署
vllm/vllm-openaivllm/vllm-tpuDocker
典型使用场景
自建 OpenAI 兼容模型服务
将推理能力以 OpenAI 兼容接口提供给上层应用，最大化复用现有 SDK 与业务代码，并降低对外部服务的依赖。
vllm/vllm-openaiOpenAI Compatible API
TPU 环境推理与评估
在 TPU 环境中部署与评估推理服务能力，适合 TPU 资源场景下的性能探索与生产验证。
vllm/vllm-tpuTPU
相关文章推荐
【漏洞预警】LMCache HTTP 管理面未认证远程代码执行与配额篡改（CVE-2026-107204 / 107205 / 107206）
LMCache 到 0.5.5 为止暴露未认证的 /run_script，可绕过受限导入后执行系统命令（CVE-2026-107204，CVSS 9.8）。多进程 coordinator 与 HTTP 管理端默认监听所有网卡且无认证，可改配额、枚举缓存并读取环境凭证（CVE-2026-107205、CVE-2026-107206）。官方镜像 lmcache/vllm-openai 通常以 root 运行。公开资料尚未给出稳定修复版。
Docker漏洞预警2026年10月9日
【漏洞预警】LMCache 多进程模式未认证远程代码执行（CVE-2026-105192）
LMCache 0.3.9 及以后的多进程模式会打开无需认证的 ZeroMQ 端口（默认 5555），并在处理请求前把消息直接反序列化（CVE-2026-105192，CVSS 9.8）。官方镜像以 root 运行该进程。厂商尚未公布修复版本，含当前正式版 0.5.5。请不要把 5555 暴露到不可信网络。
Docker漏洞预警2026年10月8日
【漏洞预警】vLLM LlavaOnevision2 处理器绕过 trust_remote_code（CVE-2026-90553）
vLLM 在加载 LlavaOnevision2 处理器时忽略 trust_remote_code，恶意模型可在 processing_llava_onevision2.py 植入任意代码并以 vLLM 进程权限执行（CVE-2026-90553，CVSS 约 7.8 High）。请将 vLLM / vllm-openai 升至 ≥ 0.28.0；未升级前勿加载不受信多模态模型仓库。
Docker部署教程2026年9月13日
MinerU Docker 部署指南：PDF 结构化解析服务实践
MinerU 是一款面向开发者与科研用户的容器化应用，专为 vLLM 后端服务设计，提供高效的文档解析与处理能力。通过 Docker 容器化部署 MinerU，可以简化安装流程、确保环境一致性，并便于在不同环境中快速迁移和扩展。 本指南将详细介绍 MinerU 的 Docker 容器化部署方案，包括环境准备、镜像拉取、容器部署、功能测试及生产环境配置建议，旨在帮助用户快速搭建稳定可靠的 MinerU 服务。
Docker部署教程2025年12月30日
VLLM Docker 容器化部署指南：在 NVIDIA Jetson 平台高效运行大语言模型推理服务
VLLM是一个高效的开源大语言模型（LLM）推理服务框架，通过创新的PagedAttention技术实现高吞吐量和低延迟的推理性能。本文介绍的`dustynv/vllm`镜像是针对NVIDIA Jetson平台优化的容器化版本，由[dustynv/jetson-containers](https://github.com/dustynv/jetson-containers)项目构建，专为边缘计算场景设计，支持在资源受限的嵌入式设备上部署高性能LLM推理服务。
Docker部署教程2025年12月2日
常见问题 (FAQ)
Q1:vLLM 相比其他推理引擎（如 HuggingFace Transformers）有什么优势？
vLLM 的主要优势包括：1) 高吞吐量，通过连续批处理技术，吞吐量可达传统推理引擎的 10-24 倍；2) 内存效率高，PagedAttention 技术减少 KV Cache 碎片，内存利用率提升 3-5 倍，可在相同显存下部署更大模型或处理更多并发；3) 低延迟，优化了推理路径，p99 延迟更低；4) OpenAI 兼容 API，无需修改现有代码即可接入；5) 支持多种量化方案（INT4/INT8/GPTQ/AWQ），进一步降低显存占用。
Q2:如何优化 vLLM 的性能和资源使用？
优化 vLLM 性能的方法：1) 合理设置 gpu-memory-utilization（默认 0.9），根据模型大小和并发需求调整；2) 使用量化模型（如 GPTQ、AWQ）减少显存占用；3) 调整 max-model-len 限制序列长度，平衡显存和功能；4) 多 GPU 部署时设置 tensor-parallel-size 等于 GPU 数量；5) 根据并发需求调整 max-num-seqs 控制同时处理的请求数；6) 使用连续批处理充分利用 GPU，避免静态批处理的资源闲置；7) 监控 GPU 利用率和显存使用，根据实际负载调优参数。