Vector Lab
VECTOR LAB

EST. 2025

WEEKLY UPDATE2025
BY ANDREW MEAD

风暴过后的平静

Claude 挥手告别,Zai 发布视觉模型,LLM 能取代初级分析师吗?

注:本文由 OpenAI gpt-6.1-sol 通过 Codex CLI 自动翻译;翻译质量可能有所欠缺,尤其是技术术语。

新闻

推理服务由谁提供,可得看仔细

最近有消息称,不同的 gpt-oss 推理服务提供商,其端点的质量参差不齐。 Artificial Analysis 本周发布的一份报告正式证实了这些说法:使用不同提供商的服务,基准测试得分的差距可超过 10%。

不同提供商的基准测试结果各不相同

GPQA 得分相差 10%,相当于从 Qwen3 235B 降到了 Qwen3 30B

这份报告推动了一些改进。Azure 此前的端点表现几乎垫底,但在报告发布后,他们已经更新了端点,开始提供正确的版本。 他们表示,问题出在所用的 vLLM 版本没有遵循推理强度参数,导致模型以中等推理强度运行,而非高强度。

这也凸显了推理对于 OpenAI 新模型(gpt-oss 和 GPT5)的重要性。 许多用户反馈,GPT5 和 GPT5-high 的差别简直是天壤之别:普通 GPT5 在编程任务中几乎没法用,而 GPT5-high 的表现则相当不错。

Claude 3.5 和 3.6 即将停用

Anthropic 最近宣布,旗下最具影响力的两款模型 Claude Sonnet 3.5 和 3.6 将在两个月后,也就是 2025 年 10 月 22 日停用。 这两款模型对 Anthropic 意义重大:过去一年里,Anthropic 在智能体编程模型领域牢牢占据的主导地位,正是从它们开始建立的。

尤其是 Sonnet 3.5,它可能是我们在未来一段时间里能见到的最后一个“纯粹”的 LLM:训练得恰到好处,没有为了刷榜而堆上过量的强化学习。

这突如其来的告别让许多人措手不及,也引发了技术社区中不少人的强烈反对,因为这些模型比 GPT-4o 之类的模型更有“灵魂”和“情感”。上周 OpenAI 宣布要下架 GPT-4o 时,同样引起了巨大争议,最终迫使 OpenAI 暂时恢复了该模型。

接下来就看 Anthropic 会不会像之前对 Opus 3 那样,设立一些“研究”端点,让用户仍然能够访问这些模型。如果没有,我会想念它们的。它们是第一批“足够好”、能每天使用的编程智能体模型。预计会有人为它们举办一场类似 Sonnet 3 那样的葬礼。

新品发布

GLM 4.5 Vision

Z.ai 团队发布了纯文本 LLM GLM 4.5 的全新多模态版本。 与它所基于的模型一样,这款新模型在开源视觉模型中也达到了最先进水平。 它基于规模较小的 GLM 4.5 Air,因此在家用设备上运行也具有可行性。

GLM 4.5V Benchamrks
跑分来喽

虽然基准测试成绩不错,但它还不够成熟,已经暴露出过度思考、输出格式等诸多问题。 发布以来,Z.ai 已经修复了其中一些问题,但其他问题仍然存在。 鉴于上述问题,我目前不推荐使用这款模型,而是建议使用 GLM 4.1。它的表现接近 4.5,参数量却只有 90 亿,而非 1200 亿。

总体而言,视觉语言模型(VLM)与纯文本模型相比,仍然相当不给力。它们在很多很多情况下都会表现出过拟合、偏见,或者做出一些让你怀疑它们根本什么都看不见的行为。本周发布的这篇研究论文就凸显了这些问题。

与此同时,他们还发布了视觉模型(GLM 4.1 和 4.5)的研究报告,以及文本模型的研究报告。 如果你是强化学习研究者,我也建议去看看他们的强化学习训练框架 SLIME,听说相当好用。

DINO V3

这次换换口味,不聊常见的 LLM 和图像生成模型了。Meta FAIR 发布了 DINO 系列计算机视觉模型的最新版本。

这些模型用于提取图像特征。因此,如果你想做一个图像去重模型、珍稀鸟类分类器,或者自定义图像分割模型,DINO 就是合适的选择。凭借对图像扎实的基础理解能力,它在数据量较少的情况下也能表现出色。

DINO 在看恐龙

不同的计算机视觉模型如何“看”世界


与之前的版本不同,这款模型的参数规模已扩展到数十亿级,而这一直是计算机视觉研究者难以做到的事。它在高分辨率图像上的表现也非常出色,几乎在所有适用的计算机视觉基准测试中都创下了新的最佳成绩。

DINO v3 模型家族

DINO v3 模型家族,以及 70 亿参数模型与 8 亿参数模型的对比


这款模型提供了多种规模,从 2900 万参数一直到 70 亿参数。70 亿参数版本是“基础”模型,其他所有模型都由它蒸馏而来。 在实际应用中,你大概会更想使用这些蒸馏模型,因为它们的表现相近,体积却缩小到了十分之一,甚至更小! 小模型分为两种架构:ViT 和 ConvNext。 ViT 模型的效果更好,适合大多数生产环境中的任务;ConvNext 模型则极其轻量,适合端侧部署。

研究

LLM 收集信息的能力究竟如何?

在了解一个新领域或新话题时,你大概经常要花上大量时间反复查找资料,弄清这个领域当下有哪些值得关注的信息。你自然会希望 AI 能把这件事自动完成。

ByteDance 研究实验室的一组研究者也这么想,于是他们构建了一个基准测试,用来衡量不同 LLM 完成这项任务的能力。

以下是基准测试中的一些示例:

请列出 Taylor Swift 在 2010 年 1 月 1 日至 2025 年 5 月 1 日期间所有官方巡演中的每一场演唱会,包括具体日期、演唱会英文名称、国家、城市和场馆。每场演出单独占一行,按时间从早到晚排列。

请提供截至 2024 年 12 月 31 日法国巴黎米其林三星餐厅的详细名单。我尤其想知道每家餐厅的名称、主要菜系风格和准确地址。

注:为简洁起见,省略了格式要求

哎呀,它们不太行

哎呀,这可不妙

研究发现,所有模型在这方面都很差,没有一个模型的得分超过 6%。他们测试了单智能体、多智能体,以及端到端浏览器操作系统。

这些智能体遇到的困难并非源于搜索错误,而是根本性的认知错误。 它们在规划阶段就没能把问题拆分成足够简单的子查询。 如果一次查询没找到答案,它们就会放弃,而不是尝试其他查询。 即使找到了正确的来源,它们也会误读或忽略其中的内容,或者凭空编造来源中并不存在的信息。

话虽如此,这个数据集对人类来说也很难:普通的人类专家在这些任务上的得分也只有 20% 左右,不过这仍然接近 AI 得分的三倍。

结语

希望你喜欢本周的新闻。如果你想每周都收到这些资讯,记得在下方订阅我们的邮件列表。 DINO V3 眼中的卫星图像

DINO V3 眼中的卫星图像

Stay Updated

Subscribe to get the latest AI news in your inbox every week!

← BACK TO NEWS