0%

Ascend 910B上DeepSeek-V4.1-Flash稀疏注意力算子的解析与优化

一、910B硬件架构

910B采用矩阵核与向量核分离的架构。图中的两个大框分别是矩阵核(AIC,AI Cube)和向量核(AIV,AI Vector)。两类核各有独立的标量单元(Scalar),可以各自执行指令,也可以分工完成同一个算子。本次分享涉及的910B单芯片配有20个AIC和40个AIV,通常按1个AIC搭配2个AIV协同执行。

阅读全文 »

以advanced indexing的下发链路为例:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
Python / PyTorch
aten::index
↓
Enqueue@aclnnIndex
↓
Dequeue@aclnnIndex
↓
CANN
ascendCL@aclnnIndex
↓
Node@launch
↓
NPU
aclnnIndex_indexAiCore_Index

ACLNN 算子下发路径:Python API → aten::... → Enqueue → Dequeue → CANN aclnn... → Node@launch → Ascend Hardware 执行算子。

阅读全文 »

范围与代码版本

本文分析的是Qwen3.6-27B的文本主干。这里的Dense表示每层使用普通MLP,而不是Qwen3.6-35B-A3B中的MoE。Qwen3.6-27B的配置虽然仍注册为Qwen3_5ForConditionalGeneration、model_type=qwen3_5,但这是代码架构名;vLLM-Ascend也明确将Qwen3.5-27B和Qwen3.6-27B归为共享GDN/全注意力混合架构的一组模型。

本文以本地代码为准:

阅读全文 »

GDN mixed batch中消除重复QKV重排

这个PR是Qwen3.6 GDN路径上的内部性能优化,与前文的DFlash滑窗没有直接逻辑关系。它解决的问题可以概括为:

在一个同时包含decode token和prefill token的batch中,全部Q/K/V已经被重排过一次;旧代码又将最前面的decode token单独重排了一次。PR删掉第二次重排,直接复用第一次的结果。

阅读全文 »

服务的启动

OpenAI接口下,vllm推理服务的入口函数为run_server_worker(),具体启动时序如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
run_server_worker()
│
├─ build_async_engine_client()
│ └─ AsyncLLM.from_vllm_config()
│ └─ AsyncLLM.__init__()
│ ├─ renderer_from_config()
│ │ ├─ 创建 DeepseekV4Tokenizer
│ │ └─ 创建 DeepseekV4Renderer
│ │
│ ├─ 创建 InputProcessor
│ ├─ 创建 OutputProcessor
│ │
│ └─ EngineCoreClient.make_async_mp_client()
│ └─ 创建 AsyncMPClient
│ ├─ 创建前端 ZMQ 输入/输出 socket
│ │
│ ├─ launch_core_engines()
│ │ └─ spawn 后台 EngineCore 进程
│ │ └─ EngineCoreProc.run_engine_core()
│ │ └─ EngineCoreProc.__init__()
│ │ ├─ 与 AsyncMPClient 建立 ZMQ 连接
│ │ │
│ │ └─ EngineCore.__init__()
│ │ ├─ 创建 ModelExecutor
│ │ │ ├─ 启动 TP/PP Worker
│ │ │ └─ 加载 DeepSeek V4 权重
│ │ │
│ │ ├─ 测量可用显存
│ │ ├─ 创建并初始化 KV Cache
│ │ ├─ warmup/编译模型
│ │ ├─ 创建 Scheduler
│ │ └─ 创建结构化输出管理器
│ │
│ │ ├─ 启动请求接收线程
│ │ ├─ 启动结果发送线程
│ │ ├─ 向 AsyncMPClient 发送 READY
│ │ └─ run_busy_loop()
│ │ ├─ 接收请求
│ │ ├─ Scheduler 选择本轮请求
│ │ ├─ ModelExecutor 执行模型
│ │ └─ 返回新 token
│ │
│ └─ AsyncMPClient 等待 READY
│ └─ 返回给 AsyncLLM
│
└─ build_and_serve()
├─ build_app()
│ └─ 注册 FastAPI 路由
│
├─ init_app_state()
│ ├─ OpenAIServingRender()
│ └─ init_generate_state()
│ ├─ OpenAIServingChat()
│ └─ OpenAIServingChat.warmup()
│
└─ serve_http()
└─ 启动 Uvicorn
阅读全文 »

简单来说,vLLM在启动时一次性申请一组大块的GPU显存作为KV Cache,然后把它切成固定大小的block;Scheduler 会管理“请求使用哪些 block”,Attention kernel则会往对应位置写入和读取 KV。

在EngineCore的初始化函数中,会调用自身的_initialize_kv_caches()方法:

1
kv_cache_config = self._initialize_kv_caches(vllm_config)
阅读全文 »