你问一个很难的数学题,模型没有立刻给出答案,而是安静几秒,然后带着推导过程回复你。这个停顿不是故障,而是产品本身。
大模型(大模型)领域花了十年追逐"更大"。如今另一个杠杆同样重要:模型被允许"思考"多久。
关键要点
- 2024年9月12日,OpenAI 发布 o1,这是一个用强化学习训练、会在回答前先推理的模型。OpenAI 自己的技术说明写道,o1 的表现随强化学习(训练时计算)和思考时间(推理时计算,推理时计算)的增加而持续提升。
- 关键数字:在2024年 AIME 数学竞赛资格题中,GPT-4o 只解出约12%的题目;o1 单次尝试达到74%,64次采样共识下83%,对1000个样本重排后93%。在 GPQA Diamond 这一研究生级科学测试上,o1 超过了人类博士专家,是首个做到这一点的模型。在编程竞赛 Codeforces 上达到第89百分位。
- 推理模型(推理模型)会在最终答案前生成一长段内部思维链(思维链)。早期的"让我们一步步思考"只是用户技巧,o1 把它训练进了模型本身:模型根据难度自行决定投入多少计算。
- 代价体现在账单上:推理模型输出的 token 远多于普通模型,因为"思考"也是输出的一部分,难题每次查询更贵。
- 中国实验室在数月内跟进:DeepSeek-R1(2025年1月20—21日)是一个混合专家(混合专家)模型,总参数6710亿、激活370亿,以 MIT 许可开放权重,采用 GRPO 训练,在数学、代码和推理上对标 o1,且不同于 o1 地公开完整推理轨迹;QwQ-32B(2024年11月28日)是阿里巴巴首个公开推理模型,基于 Qwen 2.5 32B,以 Apache 2.0 发布,320亿参数可跑在单张工作站显卡上。
- 据脑机网(脑机网)首席科学家李锚观察:"真正的转变是方法层面的——实验室不再收集人工撰写的推理范例,而是奖励模型给出可验证的正确答案。"
- 蒸馏带来的小模型红利:DeepSeek 不仅发布了 R1,还发布了一系列蒸馏模型(1.5B 到 70B),继承了它的推理行为。因为推理模式可以迁移,一个7B或32B模型能在数学与代码上解出远超其体量的问题,这也是"推理"不再是前沿专属、笔记本电脑也能跑的原因。
- 成本账很直白:一个推理模型可能在给出200个 token 的答案前,先吐出5000到10000个"思考" token。按通常的 API 价格,这样一次难题查询的花费可能达到普通模型的20到50倍。给思考设上限不只是调精度,也是控预算——好的习惯是让快速模型先出初稿,只有问题真的难时才升级到推理模型。
- 训练时计算与推理时计算是两回事:o1 的突破在于后者——模型在"回答那一刻"多花计算,而不是把模型本身做得更大。这意味着对已经训练好的模型,也能通过"拉一拉思考的杠杆"来提升表现,是过去十年靠堆规模之外的另一条路。它也让推理能力从前沿独占,变成了可以下放到小模型的能力。
诚实的局限
本文依赖厂商与实验室公布的基准(OpenAI 的 o1 说明、DeepSeek 的 R1 论文、阿里巴巴的 QwQ 模型卡)。o1 的 AIME 具体评测流程 OpenAI 未公开,独立复现有限。"推理时计算"在可验证任务上帮助明显,在开放型写作上收益更小也更难衡量。我没有亲自跑过这些基准,文中所有数字均来自上述公开材料,应视为待核实的主张而非既定事实。另外,o1 的内部评分流程 OpenAI 并未完全对外公开,不同团队复现其 AIME 成绩时口径不一,做跨模型横向比较时要特别谨慎,不要只盯着一个分数下结论。对普通用户来说,理解"思考会花钱"这一点,比追某个榜单数字更实用。
普通人现在能做什么
- 按任务选模型:数学、调试、规划用推理模型;摘要、闲聊用快速模型。
- 给思考设上限:多数 API 允许限制推理强度,把"深度思考"留给真正需要正确性的场景。
- 本地试一把:QwQ-32B 或 DeepSeek-R1 的蒸馏版本可在单张显卡上运行,还能看到推理过程,便于学习与建立信任。
- 先用免费模型练手:在正式接入付费 API 前,先用开源推理模型跑几十个你自己的真实问题,直观感受"思考"带来的质量提升与 token 消耗。