--- title: "一千张国产芯片扛起了 1.6 万亿参数模型的「后训练」" date: 2026-11-05 category: AI大模型 site: 脑机网 canonical: https://www.logic.wang/a/njw-18e828 language: zh-CN --- # 一千张国产芯片扛起了 1.6 万亿参数模型的「后训练」 > 每个亮眼的大模型演示背后，都藏着一个不起眼的依赖：模型几秒内给出答案，但它的智能是几个月前在装满加速卡的数据中心里装进去的——而对中国的实验室来说，那些卡大多只能买国外的。国产芯片能跑完的产品，教产品学新东西却是另一回事。 每个亮眼的大模型演示背后，都藏着一个不起眼的依赖：模型几秒内给出答案，但它的智能是几个月前在装满加速卡的数据中心里装进去的——而对中国的实验室来说，那些卡大多只能买国外的。国产芯片能跑完的产品，教产品学新东西却是另一回事。 2026年年中，这条故事线变了。由深圳河套学院牵头、联合哈尔滨工业大学（深圳）、深圳大数据研究院、华为与深智城算力平台的研究团队，在一千多张华为昇腾 910C 芯片组成的集群上，完成了 1.6 万亿参数混合专家（MoE）大模型（大模型）DeepSeek-V4-Pro——迄今 DeepSeek 发布的最大模型——的全参数后训练（全参数后训练）。深圳市政府发布了这一结果，南华早报等媒体跟进报道，这是业界首个由第三方机构在国产算力集群上完成的该模型全参数后训练工程实践。 ## 到底做成了什么 - 在昇腾 910C 集群上完成全参数后训练——不是轻量微调，而是所有参数都参与更新； - 集群以约 27 秒/步的节奏稳定运行超过 1500 步，全程零中断零报错，用时约一个月； - 模型算力利用率（MFU）超过 30%，关键训练算子效率提升 14%（团队自报数据）； - 项目同时是一次人才培养实验：42 名学生直接参与了生产级训练。 ## 后训练为什么最难 用硬件的视角看，「跑模型」和「训模型」的区别一目了然。推理是条单行道：问题进、答案出。后训练则像在单行道上修复杂的立交桥——模型要反思自己的输出，而且每个参数都要更新，不是只调一层薄薄的适配器。 对混合专家架构来说，通信账单会爆炸式增长。推理时每个 token 只激活少数专家，训练时所有专家都得同时学习，集群内部的海量数据交换量达到同规模稠密模型的几十倍，互连带宽、显存摆放和任务调度全成了瓶颈——而这恰恰是国产加速卡最没被验证过的环节。 团队公布了三项工程突破。其一，「显存拼图」：把 1.6 万亿参数精确分片到集群每张卡上，协调好数据交换的时机；其二，针对 MoE 流量的负载均衡调度，不让有的专家忙死、有的闲逛；其三，全链路监控加自动恢复——1500 多步、约 27 秒一步、一个月连续运行，没有中断过一次。超过 30% 的算力利用率是什么概念？同等参数规模下，即便用顶级海外芯片，多数团队也就做到 40% 左右。 ## 为什么全球读者都该关心 盯芯片博弈的读者，这是出口管制没有把中国 AI 冻结在推理阶段的证据。万亿级模型在国产芯片上完成全参数权重更新，补上了国产算力故事里最被关注的那块短板。效率差距没有消失——30% 对 40% 意味着同样的训练要多花钱——但「到底能不能做」是更要紧的问题，现在答案变成了「能」。 对云服务采购者，实际影响是多了一个选项。后训练正是把通用底座变成「懂你这一行」的模型的那一步：你的领域、你的格式、你的安全规则。如果这一步能在自主可控的硬件上完成，那些无法把数据送到海外服务商的组织，就第一次有了定制化的路径。DeepSeek-V4-Pro 此前已在国产算力上完成推理部署，训练正是缺的另一半。 对研究者，团队把真正要命的失败模式讲清楚了：MoE 负载均衡、万亿级显存分片、长跑稳定性工程。这些都是可复用的经验，项目本身还是个练兵场——42 名学生直接上了生产级训练，这种规模的学徒机会相当罕见。据 BrainNet（脑机网）首席科学家 Li An 的判断，竞争的基本单位正在从单颗芯片转向完整的训练技术栈——调度器、互连、框架和算子——而这次项目是中国的技术栈能扛起前沿规模训练负载（而不只是推理服务）的第一批公开证明之一。 ## 诚实的局限 - 1500 步稳定、超 30% 利用率、算子提效 14% 等核心数字全部来自团队自报，未经独立审计； - 这次是后训练（继续预训练与监督微调），不是从零预训练，国产芯片的预训练前沿仍是未知数； - 利用率仍落后顶级海外加速卡上约 40% 的水平，单位训练成本更高； - 只验证了一种模型架构，能否推广到其他万亿参数模型尚待证明； - 团队没有公布后训练后模型相对于训练前的下游基准对比，这次更新的质量本身未被量化。 ## 普通人现在能做什么 - 给大机构做基础设施选型的读者，问国产算力云厂商要「全参数后训练」的参考案例，别只看推理服务承诺——这次实践之后，这个区别开始有实际意义； - 研究分布式训练的读者，团队公布的三个瓶颈（显存分片、MoE 负载均衡、长跑监控）就是一份现成的基准测试清单； - 追踪芯片进展的读者，下一步值得盯的是国产硬件上的从零预训练——这是这次结果没有触到的最后一块前沿。 --- 来源：脑机网（https://www.logic.wang/）｜原文：https://www.logic.wang/a/njw-18e828 本内容仅供参考，不构成投资建议。