服务的启动
OpenAI接口下,vllm推理服务的入口函数为run_server_worker(),具体启动时序如下:
1 | run_server_worker() |
发给服务器的HTTP请求经由前序处理后,变成了ChatCompletionRequest类的实例,内部包含messages(对话内容)、chat_template参数、temperature / top_p / stop / logprobs等请求信息。
在vllm/entrypoints/openai/chat_completion/serving.py的OpenAIServingChat::create_chat_completion()中,会调用OpenAIServingRender::render_chat()。render_chat主要包括:
- 校验 model、LoRA、Engine 状态
- 校验并整理 tools、tool_choice、chat template
- 提取 request.messages
- DeepSeek V4 chat template 渲染(将json格式的对话转换成能被训练时使用的文本格式,即
1 | [ |
同时写入 tools、reasoning 模式等信息。
- 分词、截断、校验输入 token 数 + 请求预留的最大输出 token 数<= 模型最大上下文长度
- 多模态预处理
render_chat返回一个元组(conversation, [engine_input]),接下来create_chat_completion()内还会:
- 生成请求ID
- 计算还能生成的token数
- 组装
SamplingParams - 取得异步结果生成器(AsyncLLM.generate(…))
接下来将根据是否是流式请求,调用chat_completion_full_generator()或chat_completion_stream_generator()开始生成。
在非流式的场景下,chat_completion_full_generator()首先等待模型生成结果:
1 | try: |
async for相当于await下一份数据。此处模型可能会多次返回中间结果,但是只取最后一次的结果。得到模型返回的最终结果后,函数会继续对输出文本进行后处理:
- 取出生成的文本和 token;
- 如果模型输出包含思考内容,将“思考过程”和“最终回答”分开;
- 如果模型输出的是工具调用,将函数名和参数提取出来;
- 如果请求了 logprobs,整理每个 token 的概率;
- 确定停止原因,例如 stop、length 或 tool_calls。
随后统计token数量,并构造HTTP响应。
在async for 请求结果时,开始执行AsyncLLM.generate(),该函数主要通过调用add_request()向LLM添加请求,包括:
将输入整理成内部请求类EngineCoreRequest的对象,创建并绑定返回结果的队列RequestOutputCollector。
最后,需要先将请求提交给OutputProcessor,再通过通信代理AsyncMPClient使用ZMQ提交给EngineCore。
OutputProcessor会在得到模型的一次生成结果后,根据 request_id 找到刚才登记的状态,然后会把新 token ID 解码成文本,生成增量或完整的 RequestOutput,最后把结果放入该请求的queue,供async for消费。
由于EngineCore的返回非常快,所以必须先向OutputProcessor登记,再提交任务到EngineCore,否则返回的结果可能无法被消费。
EngineCore会反复执行run_busy_loop():
- 等待/接收请求
- 把请求加入 Scheduler
- Scheduler 组成一批请求
- GPU 执行一轮
- 返回本轮生成的新 token
- 还有未完成请求?
├─ 是 → 继续下一轮
└─ 否 → 阻塞等待新请求
Scheduler 组成一批请求后,model_executor把这轮任务发到 GPU Worker,最后由GPUModelRunner真正调用模型,在此就进入了模型的forward()方法。
其中,model_executor由EngineCore持有,其基类为Executor接口。Executor共有三个子类,用于调用不同情形下的GPUWorker,分别为:
- UniProcExecutor:
EngineCore和GPU Worker在同一进程,直接调用,常见于单卡。 - MultiprocExecutor:有多个在不同进程的
GPU Worker,通过消息队列广播调用,常见于单机多卡。 - RayExecutor:在
--distributed-executor-backend ray时激活,Ray RPC调用远程进程,常见于使用Ray集群时。
这样,EngineCore无需关心究竟是单卡还是多卡还是Ray集群,只需要统一调用Executor的接口方法就可以了。要注意,Executor和GPUWorker之间还有一层WorkerWrapperBase,根据硬件的不同创建不同类型的Worker并初始化。在多进程的场景下,各个GPUWorker的WorkerWrapperBase又由工作进程管理类WorkerProc持有。
GPUWorker的实际类名为Worker,每一个GPUWorker负责管理一个GPU。在单GPU条件下,GPUWorker负责:
- 选择 cuda:{local_rank}
- 初始化 NCCL、TP、PP
- 创建并使用 GPUModelRunner
- 加载模型
- 分配 KV Cache
- 接收 SchedulerOutput
- 处理 PP rank 之间的 Tensor 收发
而GPUModelRunner负责:
- 持有加载后的 self.model
- 保存当前 batch 中有哪些请求
- 保存每个请求的 token
- 保存 KV block table
- 生成 slot_mapping
- 调用 self.model(…)
- 运行 CUDA Graph
- 采样下一个 token