---
title: "InternLM3 与上海 AI 实验室的\"思维密度\"赌注"
date: 2026-11-06
category: AI大模型
site: 脑机网
canonical: https://www.logic.wang/a/njw-b4d780
language: zh-CN
---

# InternLM3 与上海 AI 实验室的"思维密度"赌注

> 多数实验室用"把模型做大"回答成本问题；上海人工智能实验室的回答是：把数据做干净。成果 InternLM3-8B-Instruct，像两颗模型合一的小模型。

多数实验室用"把模型做大"回答成本问题；上海人工智能实验室的回答是：把数据做干净。成果 InternLM3-8B-Instruct，像两颗模型合一的小模型。

它于 2025 年 1 月发布，是一则关于"有用的大模型究竟需要多少算力"的安静论证。

## 关键要点

- 来自书生·浦语（InternLM）系列的 InternLM3-8B-Instruct，于 2025 年 1 月 15 日发布，参数量 80 亿。
- 实验室称其约在 4 万亿（4T）token 上训练，相较同规模模型把训练成本削减超 75%。
- 它是首个把"深度思考"长思维链模式与普通回答模式合并进同一颗模型的开源通用对话模型。
- 它也被描述为首个支持浏览器使用的开源通用模型，能执行 20 余步网页导航。
- 据官方模型卡（以 OpenCompass 评测），其 CMMLU 83.1、MMLU 76.6、GPQA-Diamond 37.4、MATH-500 83.0、AIME2024 20.0。

## "思维密度"论点
官方框架是"思维密度"：不堆参数，精炼数据管线让每个 token 教会模型更多。InternLM3 训练用的 token 远少于 80 亿级模型常见的 10T 以上语料，实验室称成本降超 75%（厂商主张，作指示性看待）；方向可信——效率提升正来自数据策展，若用三分之一 token 抵达相近基准，边际美元从预训练移向数据工程。

## 双模式，一份权重文件
双推理模式是亮点：InternLM3 的"深度思考"（长思维链）与普通模式融进同一颗开源通用模型，一份部署靠系统指令切换同时服务快速对话与审慎推理，复杂度减半。

## 基准图景
据官方模型卡以 OpenCompass 评测，上述分数未独立重跑，在多个维度与 Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct 具竞争力，其中 MATH-500 与 CMMLU 最有力；思考模式 AIME2024 仅 20.0，显出小模型在硬竞赛数学上的天花板。

## 它身处何处
InternLM 属上海人工智能实验室（公共研究机构），发布强调可复现与开放评测，产出 OpenCompass 与 LMDeploy，模型附带透明评测链而非黑箱营销表。

## 诚实的局限

- "超 75% 训练成本削减"与"4T token"为厂商自报，关乎内部成本账目，外部无法独立审计。
- 基准分数取自官方模型卡（OpenCompass）；我们未重跑，且 OpenCompass 版本可能令结果略有浮动。
- 80 亿参数下，模型在最难推理与数学任务（AIME2024 20.0）上的天花板远低于前沿模型；它是小而高效的模型，非前沿模型。
- 20 余步浏览器使用是受控能力主张；在任意真实站点上的鲁棒性此处未验证。

## 普通人现在能做什么

- 若你需要一颗便宜、可自托管的小模型做中英推理，在自选任务上把 InternLM3-8B-Instruct 与 Qwen2.5-7B 亲自比基准再选。
- 有意识地用深度思考开关：把难题路由到思考模式，闲聊流量留在普通模式以省算力。
- 若你想要可复现而非厂商报告的评测，经官方仓库拉取模型并自己跑 OpenCompass。

---

来源：脑机网（https://www.logic.wang/）｜原文：https://www.logic.wang/a/njw-b4d780
本内容仅供参考，不构成投资建议。