0%

GDN QKV重排优化:从4个Kernel到1次DMA

GDN QKV重排优化

这次优化用一个AscendC DMA算子替换原来的split + reshape + cat,把4次Kernel启动合成1次,并将Q/K/V直接搬到最终位置。

1. 为什么要rearrange

GDN的QKV投影输出按token打包:

1
mixed_qkv: [Q0 K0 V0] [Q1 K1 V1] [Q2 K2 V2] ...

后续Gated Delta Rule分别消费Q、K、V,需要三块连续内存:

1
目标布局:  [Q0 Q1 Q2 ...] [K0 K1 K2 ...] [V0 V1 V2 ...]

直接沿最后一维split只能得到view。跨token看,每个Q后面仍然隔着K和V,Q/K/V都不是连续的,因此必须做一次真实的数据搬运。

2. 现有实现及其缺陷

现有实现先切出Q/K/V,再展平并拼成连续buffer:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
query, key, value = torch.split(
mixed_qkv, [q_dim, k_dim, v_dim], dim=-1
)

fused = torch.cat(
[query.reshape(-1), key.reshape(-1), value.reshape(-1)], dim=0
)

q_contig, k_contig, v_contig = fused.split(
[num_tokens * q_dim, num_tokens * k_dim, num_tokens * v_dim]
)

query = q_contig.view(1, num_tokens, -1, head_k_dim)
key = k_contig.view(1, num_tokens, -1, head_k_dim)
value = v_contig.view(1, num_tokens, -1, head_v_dim)

split和最后的view本身不搬数据。问题在中间:

1
2
3
4
5
6
7
3个非连续Q/K/V view
│
├─ reshape(Q) → clone/copy ┐
├─ reshape(K) → clone/copy ├─ 3个copy Kernel
└─ reshape(V) → clone/copy ┘
↓
cat → 1个Kernel

因此,一次rearrange实际产生4次Kernel启动,而且Q/K/V先各复制一次,随后又被cat复制一次。

原实现timeline:多段reshape、clone、copy和cat

这张timeline里的主要矛盾不是NPU算力,而是CPU下发,CPU侧的算子启动开销导致后续算子的下发被整体推迟,NPU中间出现等待。

3. AscendC + DMA方案

新实现一次申请最终buffer,AscendC Kernel按token分工,把每行中的Q、K、V直接DMA到各自的最终区域:

1
2
3
4
5
输入: [Q0 K0 V0] [Q1 K1 V1] [Q2 K2 V2]
│ │ │
└────── 单个AscendC DMA Kernel ──────┐
↓
输出: [Q0 Q1 Q2] [K0 K1 K2] [V0 V1 V2]

核心逻辑可以概括为三次DataCopy:

1
2
3
DataCopy(y_[q_dst], local, q_params);
DataCopy(y_[k_dst], local[q_dim], k_params);
DataCopy(y_[v_dst], local[q_dim + k_dim], v_params);

AscendC DMA实现timeline:单个rearrange_qkv_dma

新实现:rearrange_qkv_dma只下发一次;后面的split/view只创建view,不再启动NPU Kernel。

这项改造在两种瓶颈下都有收益:

当前timeline:CPU下发瓶颈

4次Kernel启动合成1次,缩短CPU调用链,后续算子可以更早下发。这里减少的主机开销会直接反映到端到端时延。

NPU成为瓶颈时

  1. Kernel数量从4个降到1个,减少Runtime调度和Kernel切换开销;
  2. 数据从原布局直接搬到最终布局,不再经过“3次展平copy + 1次cat”的中间结果;
  3. Kernel执行体只使用DMA DataCopy完成搬运,不需要额外的AIV/AIC向量或矩阵计算来做坐标变换。

所以这不是只对当前CPU瓶颈有效的优化:即使下发开销被掩盖,NPU侧也减少了Kernel和重复数据搬运。

4. 性能收益

算子级

测试维度为q_dim = k_dim = 1024、v_dim = 3072,耗时单位为μs。加速比按“原实现耗时 / DMA实现耗时”计算。Eager列采用NPU Event耗时;Wall耗时的结果与其基本一致。

Tokens Eager:原实现 / DMA Eager加速比 Graph:原实现 / DMA Graph加速比
1 70.04 / 69.46 1.01× 18.45 / 8.67 2.13×
4 129.65 / 70.13 1.85× 22.93 / 8.67 2.65×
16 128.89 / 70.25 1.84× 25.61 / 8.50 3.01×
64 137.85 / 81.41 1.69× 27.32 / 8.62 3.17×
256 130.05 / 70.28 1.85× 29.88 / 8.96 3.33×
1024 138.09 / 71.12 1.94× 43.95 / 13.01 3.38×
4096 140.10 / 81.66 1.72× 65.69 / 31.04 2.12×

结论很直接:

  • Eager下,除单token外,加速为1.69~1.94倍;对应的Wall加速比同样为1.69~1.94倍;
  • Graph下,覆盖的token范围内加速为2.12~3.38倍;
  • 单tokenEager场景基本持平:NPU Event加速1.008倍,Wall加速1.013倍。

端到端

测试场景为prefill=1K、decode=0.5K。剔除异常的before结果后,使用日志中前两组after与后两组before重新计算。下表正数表示改善;对时延指标,正数表示时延下降。由于每组只有64个请求,不展示长尾分位数据。

每项按“before → after(改善比例)”展示。

并发 Output Throughput(tok/s) Total Token Throughput(tok/s) Mean TTFT(ms) Median TTFT(ms) Mean TPOT(ms) Median TPOT(ms) Mean E2EL(ms) Median E2EL(ms)
1 32.17 → 32.75(+1.80%) 96.51 → 98.24(+1.79%) 351.29 → 352.42(-0.32%) 350.20 → 350.71(-0.15%) 30.46 → 29.91(+1.81%) 30.46 → 29.90(+1.84%) 15914.81 → 15635.02(+1.76%) 15912.57 → 15633.04(+1.76%)
8 204.34 → 209.40(+2.48%) 613.01 → 628.21(+2.48%) 1697.59 → 1696.15(+0.08%) 1877.41 → 1878.33(-0.05%) 35.90 → 34.95(+2.65%) 35.54 → 34.59(+2.67%) 20042.95 → 19557.93(+2.42%) 20036.94 → 19554.25(+2.41%)

端到端数据说明:

  • 并发1时,吞吐、TPOT和E2EL的Mean与Median均改善约1.8%,TTFT基本持平;
  • 并发8时,吞吐提升约2.5%,TPOT和E2EL的Mean与Median均改善约2.4%~2.7%;
  • 收益主要落在持续decode阶段,这与rearrange位于每层GDN主路径上的位置一致。