--- title: "为什么新开源模型不再\"外挂摄像头\"给聊天机器人" date: 2026-11-09 category: AI大模型 site: 脑机网 canonical: https://www.logic.wang/a/njw-a9b72f language: zh-CN --- # 为什么新开源模型不再"外挂摄像头"给聊天机器人 > 你把手机对准一张表格提问，模型同时读懂表格、页边的手写批注和你的语音。一年前这套流程要把好几个独立模块拼起来，如今它是一个模型。 你把手机对准一张表格提问，模型同时读懂表格、页边的手写批注和你的语音。一年前这套流程要把好几个独立模块拼起来，如今它是一个模型。 大模型（大模型）世界改变了"看"的方式，而且这是架构层面的改变，不是表面修饰。 ## 关键要点 - 老办法：给模型"装眼睛"。早期的视觉语言系统分三步：先用一个冻结的视觉编码器（通常是 CLIP 或 SigLIP 这类 Vision Transformer，即 ViT）把图像变成特征；再用一个小型"投影器"（常是两层的 MLP 或 Q-Former）把特征映射到文本模型的空间；最后语言模型把图像当作一段静态前缀来读。这条"晚期融合"路线催生了 LLaVA 与 BLIP-2，简单且能复用强大的文本基座，但图像在模型看到你的问题之前就已经被定死了。视觉主干是冻结的，模型无法根据你的话去"放大车牌"，精细的空间推理、准确计数和密集 OCR 都会受影响。 - 新办法：从第一层起就是一个 Transformer。原生（或称早期融合）多模态去掉了独立编码器，把图像块、文本 token 和音频谱图都变成 token，从第一个层就送进同一个共享 Transformer。跨模态注意力立即开始，模型从最初就能根据提示提取视觉细节。 - 典型代表是 OpenAI 的 GPT-4o（2024年5月）和 Google 的 Gemini，二者都在一个主干里对交错的文本、图像、音频数据做端到端训练。中国开源模型也走了同一条路：阿里巴巴的 Qwen-VL 系列与智谱的视觉模型都转向了能在一个栈里处理文本与图像的统一样干。 - 你真正得到的好处：因为图像与文本从早期层就共享同一套注意力几何，原生模型在"视觉指代"（"蓝卡车后面那辆红车"）、OCR、图表阅读和空间布局上更强；延迟也更低，没有"编码器到语言模型"的翻译环节，这正是实时语音视频交互变得可行的缘故。 - 诚实的代价：原生训练很贵，每个参数（包括图像块分词器）都要在海量多模态数据上联合训练。而且统一模型并非魔法——2024到2025年的一系列研究显示，这些系统仍会在基础感知任务上翻车，比如数物体、判断两条线是否真的相交，得分接近随机，尽管基准分数很高。"把 token 放在一起看"不等于"看懂了一个场景"。 - 跨模态的 token 是什么：在原生模型里，图像不是存成一个向量，而是被切成许多视觉 token——一张高分辨率页面可能变成数百个 token，所以密集文档会同时压垮上下文窗口与显存；音频则被切成谱图块，方式相同。统一的分词器正是"读这张纸并讨论它"能一气呵成、而非走三条管道的原因。 - 代价是训练成本：联合多模态预训练需要海量交错数据与远超"把冻结编码器挂到现成文本模型上"的计算。这也是为什么原生多模态至今仍是前沿实验室的专长，开源统一模型只是刚刚追上。 - 一个简单测试能暴露短板：问"图里有几个苹果""这两条线是否相交"，前沿原生模型在这两类题上仍会以惊人概率答错，尽管它们在 MMMU 等标准基准上分数很高。基准和行为之所以不一致，是因为测试奖励的是模式匹配，而非真正的场景理解。 ## 诚实的局限 本文的架构对比来自公开的说明与二手技术文章，我并未重新实现这些模型。单个模型的具体基准分数每月都在变，本文未作核实；重点在讲设计范式，而非列分数表。"模型其实会瞎"的失败研究是真实的，但会因任务和提示而异。 ## 普通人现在能做什么 - 按模态选，而非按热度：需要图像+文本推理或实时语音，就选原生多模态模型（GPT-4o 级别或统一架构的开源模型）；若只需对扫描文档做 OCR，晚期融合模型可能更便宜。 - 测它的失败模式：在信任视觉结论前，先试计数、相交判断、"哪个物体在哪个后面"这类题。 - 自行托管开源选项：统一架构的开源模型让你能在自己的硬件上跑图像+文本工作流，适合隐私敏感文档。 - 对比两类失败：先拿"数清物品数量""两条线是否相交""某物体在另一物体后面"这类题压测，再决定是否信任它的视觉结论。 --- 来源：脑机网（https://www.logic.wang/）｜原文：https://www.logic.wang/a/njw-a9b72f 本内容仅供参考，不构成投资建议。