--- title: "科技人物｜邱锡鹏：上线一天就下线的 MOSS，和一台机器微调 650 亿参数" date: 2026-11-02 category: AI大模型 site: 脑机网 canonical: https://www.logic.wang/a/njw-4cce8f language: zh-CN --- # 科技人物｜邱锡鹏：上线一天就下线的 MOSS，和一台机器微调 650 亿参数 > 2023 年 2 月 20 日，一个带对话框的公开链接上线了。背后的模型叫 MOSS，出自复旦大学自然语言处理实验室，团队邀请公众参与内测。 2023 年 2 月 20 日，一个带对话框的公开链接上线了。背后的模型叫 MOSS，出自复旦大学自然语言处理实验室，团队邀请公众参与内测。 当天晚上，页面开始提示服务器流量过载。第二天，团队发了一份说明：MOSS 还是一个非常不成熟的模型，距离 ChatGPT 还有很长的路要走。 多数实验室会选择忘掉这样一次发布。邱锡鹏继续往下做。 ## 他的坐标 邱锡鹏是复旦大学教授、博士生导师，中国人工智能学会会士（CAAI Fellow），上海创智学院全时导师，同时是 OpenMOSS 团队负责人。按复旦官网，他主持研发了 MOSS 等多个大模型，主要研究方向为大语言模型和智能体，连续入选中国高被引学者、全球前 2% 顶尖科学家榜单，获得钱伟长中文信息处理科学技术奖一等奖、CCF-ACM 青年科技奖。他写的《神经网络与深度学习》被上百家高校用作教材。 ## 上线一天：MOSS 证明了什么 MOSS 的意义不在它有多好，而在它证明了什么。邱锡鹏当时对媒体说，与 ChatGPT 的差距主要在基座预训练阶段——MOSS 的参数量比 ChatGPT 小一个数量级——但它的问世说明国内科研团队有能力端到端走通整条技术路径。 复旦大学计算机科学技术学院后来表述得很直接：MOSS 是国内首个类 ChatGPT 的对话式大型语言模型。项目得到上海人工智能实验室的支持。而团队自己的公告更不留情面：当前版本的 MOSS 表现不够稳定，部分回答可能存在事实差错、逻辑不顺。 "发布—说清问题—开源"这套动作，后来成了这个实验室的习惯，而不是一次性的姿态。 ## 从 MOSS 到全模态 邱锡鹏组的特别之处是发整套东西，而不只是权重。MOSS 的仓库里同时有模型、对话数据、部署代码和微调代码；MOSS-003 加入了插件调用——搜索、计算器、解方程、文生图，复旦方面的报道称其为国内首个插件增强的开源对话语言模型。 之后是往多模态走：AnyGPT（2024）把语音、图像、音乐转成离散 token，让同一个语言模型处理；MOSS 系列随后覆盖语音、音频与实时视频理解；OpenMOSS 还维护 NEX，一个覆盖后训练模型与工具框架的智能体开源栈。 贯穿其中的选择是：一个算力有限的大学实验室，把"可复现"当成了自己的差异点，而不是规模。 ## LOMO：把成本问题写成优化器问题 邱锡鹏组在中文世界之外最被熟知的工作，是 2023 年 6 月的《Full Parameter Fine-tuning for Large Language Models with Limited Resources》。 它的思路不是压缩。团队先看微调时显存到底花在哪——参数、激活、优化器状态、梯度张量——发现优化器状态占大头：Adam 每个参数要额外存两个值。于是问题被简化了：微调时模型已经接近解，SGD 够不够用？ LOMO 的回答是够，并做了三件事：改用不保存中间状态的 SGD；把梯度计算和参数更新融合成一步，梯度用完即弃，梯度显存降到最大单张量；再用梯度裁剪、损失缩放和部分全精度计算稳住混合精度训练。 结果是：显存降到标准 DeepSpeed 方案的 10.8%，团队得以在一台装了八张 24GB RTX 3090 的机器上对 650 亿参数模型做全参数微调；在 SuperGLUE 上跨 LLaMA 各尺寸的实验中，LOMO 多数情况优于 LoRA。邱锡鹏在 2023 年的一次采访里给了现实背景：过去优化一个百亿参数量级的大模型，需要数个 A100 芯片做硬件支撑，一台机器就要 100 多万元（≈ 14 万美元 / 110 万港元），普通研究机构承担不起。 ## 底下的工具层 MOSS 不是凭空出现的。邱锡鹏组早年做了 FastNLP 和 FudanNLP 两个轻量级 NLP 工具包，被国内外数百家单位使用，并发布了 CPT、BART-Chinese 等中文预训练模型。他 2017 年获 ACL 杰出论文奖，2019 年获 CCL 最佳论文奖。教材《神经网络与深度学习》成了很多中国学生的入门书，配套仓库在其个人主页上显示约 1.9 万 GitHub Star。 ## 诚实的局限 "国内首个"这个说法来自国内官方媒体和复旦学院官网，指的是"公开可用的对话式大模型"这一意义上的先后，不代表任何性能上的领先；我没能在国际独立来源上交叉验证这一表述，建议把它理解为当时同行的描述，而不是排名。 采纳数据我也没能独立核实：FastNLP 的使用单位数量出自校方页面，MOSS 各仓库的 Star 数出自邱锡鹏个人主页，两者都属于自我披露。 LOMO 的 10.8% 是在作者自己的实验里对比 DeepSpeed 基线得出的，不意味着微调从此变便宜；而且这篇论文解决的是微调，不是从零预训练。 ## 普通人现在能做什么 - 如果你要在 LoRA 和全参数微调之间做选择，先读 LOMO 论文里的显存拆解再决定。真正的瓶颈通常是优化器状态，不是模型大小。 - 想判断一个大学量级的实验室能交付到什么程度，挑一个 OpenMOSS 仓库——MOSS 或 NEX——去看它的训练配置，而不只是 README。 --- 来源：脑机网（https://www.logic.wang/）｜原文：https://www.logic.wang/a/njw-4cce8f 本内容仅供参考，不构成投资建议。