0%

vLLM-Ascend 算子下发路径

以advanced indexing的下发链路为例:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
Python / PyTorch
aten::index
↓
Enqueue@aclnnIndex
↓
Dequeue@aclnnIndex
↓
CANN
ascendCL@aclnnIndex
↓
Node@launch
↓
NPU
aclnnIndex_indexAiCore_Index

ACLNN 算子下发路径:Python API → aten::... → Enqueue → Dequeue → CANN aclnn... → Node@launch → Ascend Hardware 执行算子。

Enqueue@aclnnIndex:PyTorch 主线程调用 B[indices] 后,并不一定自己直接一路调用到 CANN,而是可以先把任务任务放入异步 TaskQueue。

Dequeue@aclnnIndex:Host 侧 torch_npu 的异步 TaskQueue 消费这个 aclnnIndex 任务。另外一个dequeue线程把任务 Dequeue 出来,再真正调用 ACLNN。Ascend/pytorch 当前实现中默认会使用 taskqueue,一个 device 对应一个 taskqueue,并由 dequeue 线程进行实际下发。

Node@launch:表示 CANN 将已经准备好的算子任务提交到对应 NPU stream/runtime 的 launch 阶段。Node@launch 仍然是 Host 侧 launch 开销。

最后,aclnnIndex_indexAiCore_Index才是NPU侧的device算子执行。