GDN QKV重排优化
这次优化用一个AscendC DMA算子替换原来的split + reshape + cat,把4次Kernel启动合成1次,并将Q/K/V直接搬到最终位置。
1. 为什么要rearrange
GDN的QKV投影输出按token打包:
1 | mixed_qkv: [Q0 K0 V0] [Q1 K1 V1] [Q2 K2 V2] ... |
后续Gated Delta Rule分别消费Q、K、V,需要三块连续内存:
1 | 目标布局: [Q0 Q1 Q2 ...] [K0 K1 K2 ...] [V0 V1 V2 ...] |
直接沿最后一维split只能得到view。跨token看,每个Q后面仍然隔着K和V,Q/K/V都不是连续的,因此必须做一次真实的数据搬运。
2. 现有实现及其缺陷
现有实现先切出Q/K/V,再展平并拼成连续buffer:
1 | query, key, value = torch.split( |
split和最后的view本身不搬数据。问题在中间:
1 | 3个非连续Q/K/V view |
因此,一次rearrange实际产生4次Kernel启动,而且Q/K/V先各复制一次,随后又被cat复制一次。

这张timeline里的主要矛盾不是NPU算力,而是CPU下发,CPU侧的算子启动开销导致后续算子的下发被整体推迟,NPU中间出现等待。
3. AscendC + DMA方案
新实现一次申请最终buffer,AscendC Kernel按token分工,把每行中的Q、K、V直接DMA到各自的最终区域:
1 | 输入: [Q0 K0 V0] [Q1 K1 V1] [Q2 K2 V2] |
核心逻辑可以概括为三次DataCopy:
1 | DataCopy(y_[q_dst], local, q_params); |

新实现:rearrange_qkv_dma只下发一次;后面的split/view只创建view,不再启动NPU Kernel。
这项改造在两种瓶颈下都有收益:
当前timeline:CPU下发瓶颈
4次Kernel启动合成1次,缩短CPU调用链,后续算子可以更早下发。这里减少的主机开销会直接反映到端到端时延。
NPU成为瓶颈时
- Kernel数量从4个降到1个,减少Runtime调度和Kernel切换开销;
- 数据从原布局直接搬到最终布局,不再经过“3次展平copy + 1次cat”的中间结果;
- Kernel执行体只使用DMA
DataCopy完成搬运,不需要额外的AIV/AIC向量或矩阵计算来做坐标变换。
所以这不是只对当前CPU瓶颈有效的优化:即使下发开销被掩盖,NPU侧也减少了Kernel和重复数据搬运。
4. 性能收益
算子级
测试维度为q_dim = k_dim = 1024、v_dim = 3072,耗时单位为μs。加速比按“原实现耗时 / DMA实现耗时”计算。Eager列采用NPU Event耗时;Wall耗时的结果与其基本一致。
| Tokens | Eager:原实现 / DMA | Eager加速比 | Graph:原实现 / DMA | Graph加速比 |
|---|---|---|---|---|
| 1 | 70.04 / 69.46 | 1.01× | 18.45 / 8.67 | 2.13× |
| 4 | 129.65 / 70.13 | 1.85× | 22.93 / 8.67 | 2.65× |
| 16 | 128.89 / 70.25 | 1.84× | 25.61 / 8.50 | 3.01× |
| 64 | 137.85 / 81.41 | 1.69× | 27.32 / 8.62 | 3.17× |
| 256 | 130.05 / 70.28 | 1.85× | 29.88 / 8.96 | 3.33× |
| 1024 | 138.09 / 71.12 | 1.94× | 43.95 / 13.01 | 3.38× |
| 4096 | 140.10 / 81.66 | 1.72× | 65.69 / 31.04 | 2.12× |
结论很直接:
- Eager下,除单token外,加速为1.69~1.94倍;对应的Wall加速比同样为1.69~1.94倍;
- Graph下,覆盖的token范围内加速为2.12~3.38倍;
- 单tokenEager场景基本持平:NPU Event加速1.008倍,Wall加速1.013倍。
端到端
测试场景为prefill=1K、decode=0.5K。剔除异常的before结果后,使用日志中前两组after与后两组before重新计算。下表正数表示改善;对时延指标,正数表示时延下降。由于每组只有64个请求,不展示长尾分位数据。
每项按“before → after(改善比例)”展示。
| 并发 | Output Throughput(tok/s) | Total Token Throughput(tok/s) | Mean TTFT(ms) | Median TTFT(ms) | Mean TPOT(ms) | Median TPOT(ms) | Mean E2EL(ms) | Median E2EL(ms) |
|---|---|---|---|---|---|---|---|---|
| 1 | 32.17 → 32.75(+1.80%) | 96.51 → 98.24(+1.79%) | 351.29 → 352.42(-0.32%) | 350.20 → 350.71(-0.15%) | 30.46 → 29.91(+1.81%) | 30.46 → 29.90(+1.84%) | 15914.81 → 15635.02(+1.76%) | 15912.57 → 15633.04(+1.76%) |
| 8 | 204.34 → 209.40(+2.48%) | 613.01 → 628.21(+2.48%) | 1697.59 → 1696.15(+0.08%) | 1877.41 → 1878.33(-0.05%) | 35.90 → 34.95(+2.65%) | 35.54 → 34.59(+2.67%) | 20042.95 → 19557.93(+2.42%) | 20036.94 → 19554.25(+2.41%) |
端到端数据说明:
- 并发1时,吞吐、TPOT和E2EL的Mean与Median均改善约1.8%,TTFT基本持平;
- 并发8时,吞吐提升约2.5%,TPOT和E2EL的Mean与Median均改善约2.4%~2.7%;
- 收益主要落在持续decode阶段,这与rearrange位于每层GDN主路径上的位置一致。