以advanced indexing的下发链路为例:
1 | Python / PyTorch |
ACLNN 算子下发路径:Python API → aten::... → Enqueue → Dequeue → CANN aclnn... → Node@launch → Ascend Hardware 执行算子。
Enqueue@aclnnIndex:PyTorch 主线程调用 B[indices] 后,并不一定自己直接一路调用到 CANN,而是可以先把任务任务放入异步 TaskQueue。
Dequeue@aclnnIndex:Host 侧 torch_npu 的异步 TaskQueue 消费这个 aclnnIndex 任务。另外一个dequeue线程把任务 Dequeue 出来,再真正调用 ACLNN。Ascend/pytorch 当前实现中默认会使用 taskqueue,一个 device 对应一个 taskqueue,并由 dequeue 线程进行实际下发。
Node@launch:表示 CANN 将已经准备好的算子任务提交到对应 NPU stream/runtime 的 launch 阶段。Node@launch 仍然是 Host 侧 launch 开销。
最后,aclnnIndex_indexAiCore_Index才是NPU侧的device算子执行。