脑机网 脑机网LOGIC.WANG
脑机网 · 一线 AI 与脑机接口观察
每天更新,只讲能落地的技术、机器人与商业化进展。
看今日文章
ESC

MiniMax-01 靠重建注意力本身读完了400万 token

模型每读一篇长文档都带着一笔隐藏的税:它向后看得越远,烧掉的算力就越多,直到大多数模型悄悄在约 12.8 万 token 处封顶,把这称作上下文窗口。MiniMax-01 拒绝了这个上限。它的赌注是架构层面的:改掉模型里

2026-11-08 · 2121 字 · 脑机网信息截止 2026-11-08

本文为脑机网原创内容,基于公开信息与公开数据分析,不构成任何投资建议。

模型每读一篇长文档都带着一笔隐藏的税:它向后看得越远,烧掉的算力就越多,直到大多数模型悄悄在约 12.8 万 token 处封顶,把这称作上下文窗口。MiniMax-01 拒绝了这个上限。它的赌注是架构层面的:改掉模型里"决定记住什么"的那个部件,长度问题就开始消融。

2025 年 1 月 15 日,总部位于上海的 MiniMax 发布并开源了 01 系列:文本基座模型 MiniMax-Text-01,以及也能读图的多模态视觉模型 MiniMax-VL-01,两者共用同一核心设计。最抓眼球的数字是上下文:MiniMax-01 以100万 token 的上下文训练,推理时可处理多达400万 token——公司将其定位为 GPT-4o 上下文的 32 倍、Claude 3.5 Sonnet 的 20 倍;作为参照,400万 token 大约相当于在单个提示里塞进几十本长书的篇幅。真正的创新叫"闪电注意力(Lightning Attention)":窍门不在更多内存,而在不同的注意力机制。传统 Transformer 用 softmax 注意力,成本随输入长度平方增长——这条二次曲线正是上下文窗口被封顶的原因;MiniMax-01 改用线性注意力机制,成本随长度大致线性增长。设计是混合的:每八层中七层用闪电注意力、一层用标准 softmax 注意力。MiniMax 称这是线性注意力首次被扩展到商用级模型,迫使它对训练与推理系统做了近乎彻底的重建,包括 MoE 通信与长序列内核。模型本身很大:总参数 4560 亿,混合专家(MoE)布局下每 token 激活 459 亿。在标准学术基准上,公司报告其表现与 GPT-4o 和 Claude 3.5 Sonnet 相当。

之所以要采用 7 比 1 的混合拆分,是因为纯线性注意力便宜却可能丢失细节,纯 softmax 注意力精确却二次增长;每八层保留一层 softmax,MiniMax 让模型能周期性地对照输入中的精确关系"重新扎根",于是便宜的线性层做大部分长距离扫描,而整系统不会漂移。对开发者来说,结论是这400万 token 窗口不是往普通模型上硬贴的营销噱头——它需要重建训练与推理技术栈,这也是公司把它既当研究赌注、又当产品来定位的原因。MiniMax 明确把长上下文框定为智能体基础设施:一个带持久记忆的单一智能体,或许多彼此对话的智能体,需要持有的状态远多于一场聊天;400万 token 窗口意味着一个智能体能把庞大的工作集——文档、日志、先前步骤——一次性纳入视野。价格以人民币给出:每百万输入 token 约 1 元、每百万输出 token 约 8 元,按当前汇率约合每百万输入 0.14 美元 / 0.78 港元、每百万输出 1.10 美元 / 6.20 港元——这种单位经济性让长上下文智能体便宜到真正跑得起来。在长上下文评测上,MiniMax 报告在400万 token 的"大海捞针"检索测试上拿到 100% 分数,且随输入变长性能下降最小——正是线性注意力想要的行为;多模态的 VL-01 在视觉理解集合上也展示了强劲结果。

但代价在于,原始上下文长度只是手段,不是产品。能容纳400万 token 并不保证模型用得明智,而多数真实工作流还不知道如何喂入和管理如此多的状态。架构是故事,应用仍在追赶。长上下文一直是实用 AI 静默的瓶颈:多数真实工作以杂乱无章的文档到来,而非整齐的聊天回合,旧的约 128K 上限迫使团队把材料切块、再把答案缝回。MiniMax-01 的赌注是,去掉上限会改变"哪些应用值得尝试"——一个把整个代码库或一整年日志尽收眼底的智能体,能跨它们推理,而不是读到结尾就忘了开头。但架构跑在了使用习惯前面;只有工作流学会如何喂入和利用这么多状态,价值才会显现。方向指向"会记忆的智能体",而那向来是最难的部分。

关键要点

  • MiniMax-01 把 MiniMax-Text-01 与多模态的 MiniMax-VL-01 配对,两者均开源。
  • 闪电注意力(线性)在推理时把上下文扩展到 4M token,而常见上限约 128K。
  • 模型为 456B 总量 / 45.9B 激活(MoE),每 8 层中 7 层线性 + 1 层 softmax 注意力。
  • 价格约每百万 token 输入 1 元 / 输出 8 元(约 0.14 美元 / 1.10 美元),面向智能体工作负载。

诚实的局限

400万 token 上下文的有用程度,取决于你结构化这么多输入的能力;朴素提示不会自动受益。该架构新颖、且比标准 Transformer 少经实战检验,因此工具与量化上预计会有粗糙边角。基准提升是公司报告的,"32 倍 GPT-4o"比较的是特定上下文数字,而非整体质量。开源权重有助于研究者,但运行 456B 级模型仍需要严肃硬件。请把 MiniMax-01 视为一项有前景的架构赌注,而非成熟、可替代既有模型的成品。

普通人现在能做什么

  • 测试长上下文:把一整个代码库或一叠 PDF 丢给 MiniMax-Text-01,看跨百万 token 的检索。
  • 构建重记忆智能体:用 4M 窗口作为多步智能体的持久状态,替代外部向量库。
  • 用开源权重:拉取 MiniMax-Text-01 / VL-01,在自己硬件上做线性注意力长上下文研究实验。
  • 刻意结构化输入:400万 token 窗口奖励组织良好的提示——用清晰标题与章节标记喂文档,让模型知道去哪找,而非倾倒原始文本指望自动理解。

数据与信源

信息截止 2026-11-08。文中数据以该日期前已公开的信息为准。

本文引用 公开报道与公司公告(未逐条列示)。

本站历史文章在正文中标注了来源机构与时间,但未逐条附原始链接。如需核验文中任一具体数字,请在评论区注明段落与数据,我们会在 2 个工作日内补出处。

本文为脑机网原创内容,基于公开信息与公开数据分析,不构成任何投资建议。

查看「AI大模型」更多内容 → · 返回首页

引用本文

欢迎媒体、智库与研究机构引用。引用时请注明来源「脑机网」并保留原文链接,同时保留文章页标注的「信息截止」日期。转载规则见 引用与转载规范。

GB/T 7714脑机网编辑部. MiniMax-01 靠重建注意力本身读完了400万 token[EB/OL]. (脑机网)[2026-11-08]. 北京: 脑机网, https://www.logic.wang/a/njw-1ed82f. 2026-11-08.
APA脑机网编辑部. (2026, November 8). MiniMax-01 靠重建注意力本身读完了400万 token. 脑机网. https://www.logic.wang/a/njw-1ed82f
脑机网 · 一线 AI 与脑机接口观察
每天更新,只讲能落地的技术、机器人与商业化进展。
看今日文章