AI 导航
01vLLM 是什么
vLLM 是开源推理引擎，核心是内存管理技术，让同一张显卡能同时服务更多请求，吞吐比朴素实现高好几倍。
自己部署开源模型做服务时，它基本是默认选择：兼容 OpenAI 接口，起一条命令就能提供 API。
短板是门槛。要懂显卡、显存和并发参数，配不好反而慢；单机跑着玩的话 Ollama 更省事。
02vLLM 能做什么
高吞吐
显存利用率高。
兼容 OpenAI
标准接口。
多卡支持
张量并行。
批量调度
连续批处理。
开源免费
Apache 许可。
03怎么开始用 vLLM
- 先单卡跑通再考虑多卡。
- 调并发参数压测找最优。
- 用 OpenAI 格式调用生态兼容。
- 个人试用先用 Ollama更省事。
04起一个兼容 OpenAI 的服务
一条命令就能对外提供接口。
pip install vllm vllm serve Qwen/Qwen2.5-7B-Instruct \ --port 8000 --max-model-len 8192
起服务后压测并发，找到显存和吞吐的平衡点。个人试玩用 Ollama，要做服务再上 vLLM。
05好在哪，差在哪
吞吐高
成本摊得低。
接口标准
能接现成客户端。
开源免费
无许可费。
用得上
- 自建推理服务
- 高并发吞吐
- 多卡大模型
- 企业内部部署
别指望
- 个人本地试用
- 零调参需求
- 无显卡环境
- 简单单机应用
06价格和套餐
| 版本 | 价格 | 说明 |
|---|---|---|
| 软件 | 免费 | 开源。 |
| 硬件 | 自备显卡 | 主要成本。 |
| 云上部署 | 按实例 | 用云 GPU。 |
软件免费，成本全在显卡和电费。调参不好会适得其反，需要压测。
07谁适合用
自建推理服务
对外提供 API。
企业内部部署
数据不出内网。
高并发场景
吞吐优先。
多卡大模型
张量并行。
08官网入口
官方文档 docs.vllm.ai，开源项目在 GitHub。生产部署前务必做并发压测。
09同类工具
10常见问题
vLLM 是什么？
开源的高性能大模型推理引擎，能显著提高显卡利用率和吞吐。
和 Ollama 怎么选？
要生产服务和高并发选 vLLM，要本地试用和简单部署选 Ollama。
免费吗？
开源免费，成本在显卡和电费。
难上手吗？
有一定门槛，要调并发参数。