--- title: "AI大模型｜混合专家架构：6710 亿参数的模型，为何只花 370 亿的算力" date: 2026-10-30 category: AI大模型 site: 脑机网 canonical: https://www.logic.wang/a/njw-78214c language: zh-CN --- # AI大模型｜混合专家架构：6710 亿参数的模型，为何只花 370 亿的算力 > 一位工程师在为新模型估算服务器规模。规格表写着 6710 亿参数，于是她按 6710 亿级别的机器报价硬件。接着她读到另一行：每个 token 只有 370 亿参数被激活。算力账单按 370 亿模型走，内存账单却仍按 6710 亿走。 一位工程师在为新模型估算服务器规模。规格表写着 6710 亿参数，于是她按 6710 亿级别的机器报价硬件。接着她读到另一行：每个 token 只有 370 亿参数被激活。算力账单按 370 亿模型走，内存账单却仍按 6710 亿走。 这道鸿沟，正是混合专家（MoE）架构的全部故事。它是当下一些最强模型背后的结构，把两个过去绑在一起的数字拆开：模型"知道多少"，与"跑起来花多少"。 MoE 把模型切成许多子网络（"专家"），再由一个路由器每次只为每个 token 激活其中少数几个。DeepSeek-V3 总计 6710 亿参数，但每 token 仅 370 亿被激活——它装着前沿级别的知识，花的算力却更接近 370 亿模型。Mistral 的 Mixtral 8x7B 总计 467 亿、每 token 仅 129 亿激活，用"八选二"路由。陷阱在于：每个专家即便休眠也得驻留内存，所以 MoE 砍的是算力，不是内存。 MoE 最好通过一个命名误区来理解。Mixtral 8x7B 听起来像八颗 70 亿模型焊在一起——约 560 亿。其实不然。八个专家共享注意力与嵌入层，只有前馈块被切分。真实总计约 467 亿参数，其中约 129 亿对任一 token 激活，因为路由器每步挑八个专家中的两个。Mistral 于 2023 年末以 Apache 2.0 许可发布 Mixtral 8x7B，明确写到：总计 467 亿、每 token 仅用 129 亿，推理速度与成本堪比 129 亿模型。该模型在多数基准上超过 Llama 2 70B，而速度快约六倍。 DeepSeek-V3 把同一思路放大到极远。它于 2024 年 12 月以开放权重发布，是 6710 亿参数的 MoE 模型，每 token 激活 370 亿，在 14.8 万亿 token 上预训练。路由器从 256 个被路由专家加 1 个常驻共享专家中选，每 token 触发八个被路由专家。结果是质量处前沿、每 token 算力却可控的模型。头号数字 6710 亿描述的是容量——跨所有专家存储的知识与技能；激活数字 370 亿描述的是每个 token 上的工作量。只报其一便是误导，所以两者必须一起出现。 训练与部署成本是现代 AI 的硬约束。稠密模型每个 token 用尽每个参数，所以想更聪明就得均匀更贵。MoE 切断这条链：你可通过加专家扩总容量，而不按比例扩每 token 算力。这正是它成为前沿默认架构的原因——让实验室在扩展模型知识时，不必让账单线性膨胀。对用户而言，好处体现为：给定质量下更低延迟与成本，或给定成本下更高质量。 新手常被惊到的是内存部分。稀疏激活减少的是算力，而非内存。因为路由器可能把下一个 token 发给任意专家，每个专家都必须常驻显存（或内存），即便只有少数被点燃。所以 Mixtral 8x7B 需要约稠密 470 亿模型的内存，尽管算力足迹只及 130 亿。你不能因为它"只激活 130 亿"，就把它塞进单张消费级显卡。 这正是 MoE 模型通常要量化压缩权重、或跨多张显卡跑的原因。权衡很清晰：每美元 token 更优，每美元内存更差。 对想自己跑模型的爱好者，MoE 最反直觉的一课是：别被"只激活 370 亿"骗去小显卡。你依然要按 6710 亿的总量准备显存，否则模型根本装不进卡。实务上要么量化压缩，要么多卡并跑——换来的是更低的每 token 成本，代价是更复杂的内存与通信管理。对普通用户，这意味着同样的质量，厂商用 MoE 后可以把调用价格压得更低、响应更快；但你在比较模型时，要看清它报的是"总参数"还是"激活参数"，两者能差出近二十倍，别被大数字带偏。 ## 普通人现在能做什么 1. 比较模型时，同时看总参数与激活参数——6710 亿/370 亿模型，和稠密 6710 亿根本不是同一类东西。 2. 若你自托管，按完整参数规模预留内存，并对 MoE 模型准备好量化或多卡方案。 3. 用基准与延迟结果评判模型，而非幻灯片上最大的那个数字。 ## 诚实的局限 混合专家是一项效率技术，而非免费升级。内存需求紧随总参数量，所以部署仍要硬核硬件或量化。路由增加工程复杂度：专家负载不均与跨显卡通信开销，会侵蚀理论加速。规格表上的"6710 亿"本身不说明质量——那是容量数字，不是基准。最后，MoE 缩减部署账单的幅度，远大于训练账单；预训练一个 6710 亿模型仍是浩大工程。 --- 来源：脑机网（https://www.logic.wang/）｜原文：https://www.logic.wang/a/njw-78214c 本内容仅供参考，不构成投资建议。