模型推理推动算力需求百倍增长，国产厂商如何进行AI基建？|界面新闻 · 科技

界面新闻记者 | 李彪

界面新闻编辑 | 文姝琪

2025年是AI行业公认的“推理之年 ” 。

在今年英伟达的GTC开发者大会上，黄仁勋演讲提到 ，随着OpenAI o1 、DeepSeek R1等推理模型的推广应用
，市场将需要更多AI芯片作算力支撑
。AI推理已代替模型训练成为了推动了算力需求增长的主力，规模增长能“轻松超过去年估计的100倍
”。

而受限于美国对华的芯片禁令限制及国产GPU单卡性能不足的差距 ，国内厂商在算力供给上长期走集群化路线
，即将多个芯片通过特定技术连接整合在成单个的“超节点” 。在数据中心内部，多个超节点形成一个集群系统 ，以满足对大规模算力需求较高的任务
。

在近日华为举办的鲲鹏昇腾开发者大会上
，公司对外宣布，其搭建的“昇腾384超节点 ”已是业内最大规模的算力集群超节点。该超节点利用华为的高速互联总线技术 ，将384张昇腾AI GPU芯片连接起来，并在内存带宽
、存储容量、高速互联网络等技术上进行了大幅调优 。

华为云则在超节点基础上进一步推出CloudMatrix 384
。官方信息显示
，CloudMatrix 384 单集群算力已经达到300 PFlops，总规模已与英伟达NVL72大致相当（以业内常用的半精度浮点数F16标准衡量 ，NVL72是将72张B200GPU连在一起）。

据华为昇腾计算业务总裁张迪煊介绍 ，相比于上一代Atlas A2
，基于昇腾384超节点的Atlas A3模型训练性能提升已达3倍 。同时，由于采用了新的总线高速互联技术后 ，超节点通信带宽提升了15倍 、通信时延降低了10倍。

而相比于训练
，随着推理在算力需求所占的比重越来越大，算力集群针对推理的优化也变得越来越重要
。

随着基于强化学习的“长思考
”（Deep Thinking）功能与智能体应用(AI Agent）的集中落地 ，AI模型需要处理的任务更复杂
，“思考”过程更长，需要更长时间和复杂计算过程来得出推理结果。

国内厂商为满足这部分的算力需求 ，同时实现“更大吞吐量 ”(AI模型一次能同时处理更多任务)和“更低延迟
”（一次任务所需时间更短），是行业待解决的关键问题 。

张迪煊称
，DeepSeek在业内带火的MOE（混合专家）架构目前已经是业内模型主流架构，而MOE包含上百个专家网络的调度 ，实现大规模专家并行是行业解决AI模型吞吐量和延迟问题的核心
。

而昇腾384节点针对MOE所做的优化设计
，在业内率先实现了“一卡一专家”，最终做到了15ms的低时延 ，单卡吞吐量是业界集群的4倍以上。

在全球范围内
，今年的算力基建扩张有增无减 。近期，在美国总统特朗普访问沙特阿拉伯期间 ，英伟达
、AMD均宣布与当地公司达成百亿美元大单
，将在当地未来五年内建设人工智能数据中心工厂，涉及“数十万张GPU卡 ”规模的算力集群建设
。Meta、特斯拉 、微软与谷歌也在建设新的十万卡规模数据中心。

国产厂商也在加快建设步伐 。张迪煊在大会上表示 ，华为目前将多个昇腾384超节点组合在一起
，已经可以支持10万卡集群的算力需求
。