Ascend 910B上DeepSeek-V4.1-Flash稀疏注意力算子的解析与优化
一、910B硬件架构
910B采用矩阵核与向量核分离的架构。图中的两个大框分别是矩阵核(AIC,AI Cube)和向量核(AIV,AI Vector)。两类核各有独立的标量单元(Scalar),可以各自执行指令,也可以分工完成同一个算子。本次分享涉及的910B单芯片配有20个AIC和40个AIV,通常按1个AIC搭配2个AIV协同执行。
以advanced indexing的下发链路为例:
1 | Python / PyTorch |
ACLNN 算子下发路径:Python API → aten::... → Enqueue → Dequeue → CANN aclnn... → Node@launch → Ascend Hardware 执行算子。
OpenAI接口下,vllm推理服务的入口函数为run_server_worker(),具体启动时序如下:
1 | run_server_worker() |
简单来说,vLLM在启动时一次性申请一组大块的GPU显存作为KV Cache,然后把它切成固定大小的block;Scheduler 会管理“请求使用哪些 block”,Attention kernel则会往对应位置写入和读取 KV。
在EngineCore的初始化函数中,会调用自身的_initialize_kv_caches()方法:
1 | kv_cache_config = self._initialize_kv_caches(vllm_config) |
论文原文:DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence
论文2.3声称,在长上下文的场景下,注意力计算已成为大语言模型推理主要的计算瓶颈。
DeepSeek采用了混合注意力机制,交错地在不同的Transformer层中使用HCA和CSA,且每层都包含了SWA的分支。