0%

vLLM在一次推理请求中的调用链

服务的启动

OpenAI接口下,vllm推理服务的入口函数为run_server_worker(),具体启动时序如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
run_server_worker()
│
├─ build_async_engine_client()
│ └─ AsyncLLM.from_vllm_config()
│ └─ AsyncLLM.__init__()
│ ├─ renderer_from_config()
│ │ ├─ 创建 DeepseekV4Tokenizer
│ │ └─ 创建 DeepseekV4Renderer
│ │
│ ├─ 创建 InputProcessor
│ ├─ 创建 OutputProcessor
│ │
│ └─ EngineCoreClient.make_async_mp_client()
│ └─ 创建 AsyncMPClient
│ ├─ 创建前端 ZMQ 输入/输出 socket
│ │
│ ├─ launch_core_engines()
│ │ └─ spawn 后台 EngineCore 进程
│ │ └─ EngineCoreProc.run_engine_core()
│ │ └─ EngineCoreProc.__init__()
│ │ ├─ 与 AsyncMPClient 建立 ZMQ 连接
│ │ │
│ │ └─ EngineCore.__init__()
│ │ ├─ 创建 ModelExecutor
│ │ │ ├─ 启动 TP/PP Worker
│ │ │ └─ 加载 DeepSeek V4 权重
│ │ │
│ │ ├─ 测量可用显存
│ │ ├─ 创建并初始化 KV Cache
│ │ ├─ warmup/编译模型
│ │ ├─ 创建 Scheduler
│ │ └─ 创建结构化输出管理器
│ │
│ │ ├─ 启动请求接收线程
│ │ ├─ 启动结果发送线程
│ │ ├─ 向 AsyncMPClient 发送 READY
│ │ └─ run_busy_loop()
│ │ ├─ 接收请求
│ │ ├─ Scheduler 选择本轮请求
│ │ ├─ ModelExecutor 执行模型
│ │ └─ 返回新 token
│ │
│ └─ AsyncMPClient 等待 READY
│ └─ 返回给 AsyncLLM
│
└─ build_and_serve()
├─ build_app()
│ └─ 注册 FastAPI 路由
│
├─ init_app_state()
│ ├─ OpenAIServingRender()
│ └─ init_generate_state()
│ ├─ OpenAIServingChat()
│ └─ OpenAIServingChat.warmup()
│
└─ serve_http()
└─ 启动 Uvicorn

发给服务器的HTTP请求经由前序处理后,变成了ChatCompletionRequest类的实例,内部包含messages(对话内容)、chat_template参数、temperature / top_p / stop / logprobs等请求信息。

在vllm/entrypoints/openai/chat_completion/serving.py的OpenAIServingChat::create_chat_completion()中,会调用OpenAIServingRender::render_chat()。render_chat主要包括:

  • 校验 model、LoRA、Engine 状态
  • 校验并整理 tools、tool_choice、chat template
  • 提取 request.messages
  • DeepSeek V4 chat template 渲染(将json格式的对话转换成能被训练时使用的文本格式,即
1
2
3
4
5
6
7
[
{"role": "system", "content": "你是助手"},
{"role": "user", "content": "解释 MLA"},
]
变成
<system 开始>你是助手<system 结束><user 开始>解释 MLA<user 结束>
<assistant 开始>

同时写入 tools、reasoning 模式等信息。

  • 分词、截断、校验输入 token 数 + 请求预留的最大输出 token 数<= 模型最大上下文长度
  • 多模态预处理

render_chat返回一个元组(conversation, [engine_input]),接下来create_chat_completion()内还会:

  • 生成请求ID
  • 计算还能生成的token数
  • 组装SamplingParams
  • 取得异步结果生成器(AsyncLLM.generate(…))

接下来将根据是否是流式请求,调用chat_completion_full_generator()或chat_completion_stream_generator()开始生成。

在非流式的场景下,chat_completion_full_generator()首先等待模型生成结果:

1
2
3
4
5
try:
async for res in result_generator:
final_res = res
except asyncio.CancelledError:
return self.create_error_response("Client disconnected")

async for相当于await下一份数据。此处模型可能会多次返回中间结果,但是只取最后一次的结果。得到模型返回的最终结果后,函数会继续对输出文本进行后处理:

  • 取出生成的文本和 token;
  • 如果模型输出包含思考内容,将“思考过程”和“最终回答”分开;
  • 如果模型输出的是工具调用,将函数名和参数提取出来;
  • 如果请求了 logprobs,整理每个 token 的概率;
  • 确定停止原因,例如 stop、length 或 tool_calls。
    随后统计token数量,并构造HTTP响应。

在async for 请求结果时,开始执行AsyncLLM.generate(),该函数主要通过调用add_request()向LLM添加请求,包括:
将输入整理成内部请求类EngineCoreRequest的对象,创建并绑定返回结果的队列RequestOutputCollector。
最后,需要先将请求提交给OutputProcessor,再通过通信代理AsyncMPClient使用ZMQ提交给EngineCore。
OutputProcessor会在得到模型的一次生成结果后,根据 request_id 找到刚才登记的状态,然后会把新 token ID 解码成文本,生成增量或完整的 RequestOutput,最后把结果放入该请求的queue,供async for消费。
由于EngineCore的返回非常快,所以必须先向OutputProcessor登记,再提交任务到
EngineCore,否则返回的结果可能无法被消费。

EngineCore会反复执行run_busy_loop():

  • 等待/接收请求
  • 把请求加入 Scheduler
  • Scheduler 组成一批请求
  • GPU 执行一轮
  • 返回本轮生成的新 token
  • 还有未完成请求?
    ├─ 是 → 继续下一轮
    └─ 否 → 阻塞等待新请求
    Scheduler 组成一批请求后,model_executor把这轮任务发到 GPU Worker,最后由GPUModelRunner真正调用模型,在此就进入了模型的forward()方法。

其中,model_executor由EngineCore持有,其基类为Executor接口。Executor共有三个子类,用于调用不同情形下的GPUWorker,分别为:

  • UniProcExecutor:EngineCore和GPU Worker在同一进程,直接调用,常见于单卡。
  • MultiprocExecutor:有多个在不同进程的GPU Worker,通过消息队列广播调用,常见于单机多卡。
  • RayExecutor:在--distributed-executor-backend ray时激活,Ray RPC调用远程进程,常见于使用Ray集群时。

这样,EngineCore无需关心究竟是单卡还是多卡还是Ray集群,只需要统一调用Executor的接口方法就可以了。要注意,Executor和GPUWorker之间还有一层WorkerWrapperBase,根据硬件的不同创建不同类型的Worker并初始化。在多进程的场景下,各个GPUWorker的WorkerWrapperBase又由工作进程管理类WorkerProc持有。

GPUWorker的实际类名为Worker,每一个GPUWorker负责管理一个GPU。在单GPU条件下,GPUWorker负责:

  • 选择 cuda:{local_rank}
  • 初始化 NCCL、TP、PP
  • 创建并使用 GPUModelRunner
  • 加载模型
  • 分配 KV Cache
  • 接收 SchedulerOutput
  • 处理 PP rank 之间的 Tensor 收发

而GPUModelRunner负责:

  • 持有加载后的 self.model
  • 保存当前 batch 中有哪些请求
  • 保存每个请求的 token
  • 保存 KV block table
  • 生成 slot_mapping
  • 调用 self.model(…)
  • 运行 CUDA Graph
  • 采样下一个 token