--- title: "MiniMax-01 靠重建注意力本身读完了400万 token" date: 2026-11-08 category: AI大模型 site: 脑机网 canonical: https://www.logic.wang/a/njw-1ed82f language: zh-CN --- # MiniMax-01 靠重建注意力本身读完了400万 token > 模型每读一篇长文档都带着一笔隐藏的税：它向后看得越远，烧掉的算力就越多，直到大多数模型悄悄在约 12.8 万 token 处封顶，把这称作上下文窗口。MiniMax-01 拒绝了这个上限。它的赌注是架构层面的：改掉模型里 模型每读一篇长文档都带着一笔隐藏的税：它向后看得越远，烧掉的算力就越多，直到大多数模型悄悄在约 12.8 万 token 处封顶，把这称作上下文窗口。MiniMax-01 拒绝了这个上限。它的赌注是架构层面的：改掉模型里"决定记住什么"的那个部件，长度问题就开始消融。 2025 年 1 月 15 日，总部位于上海的 MiniMax 发布并开源了 01 系列：文本基座模型 MiniMax-Text-01，以及也能读图的多模态视觉模型 MiniMax-VL-01，两者共用同一核心设计。最抓眼球的数字是上下文：MiniMax-01 以100万 token 的上下文训练，推理时可处理多达400万 token——公司将其定位为 GPT-4o 上下文的 32 倍、Claude 3.5 Sonnet 的 20 倍；作为参照，400万 token 大约相当于在单个提示里塞进几十本长书的篇幅。真正的创新叫"闪电注意力（Lightning Attention）"：窍门不在更多内存，而在不同的注意力机制。传统 Transformer 用 softmax 注意力，成本随输入长度平方增长——这条二次曲线正是上下文窗口被封顶的原因；MiniMax-01 改用线性注意力机制，成本随长度大致线性增长。设计是混合的：每八层中七层用闪电注意力、一层用标准 softmax 注意力。MiniMax 称这是线性注意力首次被扩展到商用级模型，迫使它对训练与推理系统做了近乎彻底的重建，包括 MoE 通信与长序列内核。模型本身很大：总参数 4560 亿，混合专家（MoE）布局下每 token 激活 459 亿。在标准学术基准上，公司报告其表现与 GPT-4o 和 Claude 3.5 Sonnet 相当。 之所以要采用 7 比 1 的混合拆分，是因为纯线性注意力便宜却可能丢失细节，纯 softmax 注意力精确却二次增长；每八层保留一层 softmax，MiniMax 让模型能周期性地对照输入中的精确关系"重新扎根"，于是便宜的线性层做大部分长距离扫描，而整系统不会漂移。对开发者来说，结论是这400万 token 窗口不是往普通模型上硬贴的营销噱头——它需要重建训练与推理技术栈，这也是公司把它既当研究赌注、又当产品来定位的原因。MiniMax 明确把长上下文框定为智能体基础设施：一个带持久记忆的单一智能体，或许多彼此对话的智能体，需要持有的状态远多于一场聊天；400万 token 窗口意味着一个智能体能把庞大的工作集——文档、日志、先前步骤——一次性纳入视野。价格以人民币给出：每百万输入 token 约 1 元、每百万输出 token 约 8 元，按当前汇率约合每百万输入 0.14 美元 / 0.78 港元、每百万输出 1.10 美元 / 6.20 港元——这种单位经济性让长上下文智能体便宜到真正跑得起来。在长上下文评测上，MiniMax 报告在400万 token 的"大海捞针"检索测试上拿到 100% 分数，且随输入变长性能下降最小——正是线性注意力想要的行为；多模态的 VL-01 在视觉理解集合上也展示了强劲结果。 但代价在于，原始上下文长度只是手段，不是产品。能容纳400万 token 并不保证模型用得明智，而多数真实工作流还不知道如何喂入和管理如此多的状态。架构是故事，应用仍在追赶。长上下文一直是实用 AI 静默的瓶颈：多数真实工作以杂乱无章的文档到来，而非整齐的聊天回合，旧的约 128K 上限迫使团队把材料切块、再把答案缝回。MiniMax-01 的赌注是，去掉上限会改变"哪些应用值得尝试"——一个把整个代码库或一整年日志尽收眼底的智能体，能跨它们推理，而不是读到结尾就忘了开头。但架构跑在了使用习惯前面；只有工作流学会如何喂入和利用这么多状态，价值才会显现。方向指向"会记忆的智能体"，而那向来是最难的部分。 ## 关键要点 - MiniMax-01 把 MiniMax-Text-01 与多模态的 MiniMax-VL-01 配对，两者均开源。 - 闪电注意力（线性）在推理时把上下文扩展到 4M token，而常见上限约 128K。 - 模型为 456B 总量 / 45.9B 激活（MoE），每 8 层中 7 层线性 + 1 层 softmax 注意力。 - 价格约每百万 token 输入 1 元 / 输出 8 元（约 0.14 美元 / 1.10 美元），面向智能体工作负载。 ## 诚实的局限 400万 token 上下文的有用程度，取决于你结构化这么多输入的能力；朴素提示不会自动受益。该架构新颖、且比标准 Transformer 少经实战检验，因此工具与量化上预计会有粗糙边角。基准提升是公司报告的，"32 倍 GPT-4o"比较的是特定上下文数字，而非整体质量。开源权重有助于研究者，但运行 456B 级模型仍需要严肃硬件。请把 MiniMax-01 视为一项有前景的架构赌注，而非成熟、可替代既有模型的成品。 ## 普通人现在能做什么 - 测试长上下文：把一整个代码库或一叠 PDF 丢给 MiniMax-Text-01，看跨百万 token 的检索。 - 构建重记忆智能体：用 4M 窗口作为多步智能体的持久状态，替代外部向量库。 - 用开源权重：拉取 MiniMax-Text-01 / VL-01，在自己硬件上做线性注意力长上下文研究实验。 - 刻意结构化输入：400万 token 窗口奖励组织良好的提示——用清晰标题与章节标记喂文档，让模型知道去哪找，而非倾倒原始文本指望自动理解。 --- 来源：脑机网（https://www.logic.wang/）｜原文：https://www.logic.wang/a/njw-1ed82f 本内容仅供参考，不构成投资建议。