Vector Lab
VECTOR LAB

EST. 2025

WEEKLY UPDATE2025
BY ANDREW MEAD

每周更新:7月14日至7月20日

OpenAI 横扫基准测试,也搅动着人们的心智

注:本文由 OpenAI gpt-6.1-sol 通过 Codex CLI 自动翻译;翻译质量可能有所欠缺,尤其是技术术语。

新闻

OpenAI 实验模型碾压竞争对手

OpenAI 现在换了一种方式来预热新模型。他们不再在 Twitter 上发些含糊其辞的帖子,暗示模型在理论上又解锁了什么新能力,而是直接把模型拉到真实赛场上,让所有人都能看到。这周,他们的新款实验性 o3 风格推理模型出现在了两场不同的比赛中。

第一场是 AtCoder 世界总决赛启发式编程竞赛。在这场比赛中,参赛者需要设计启发式算法,在类似网格世界的环境里尽可能拿到高分。这些挑战属于 NP 难问题,也就是说,没有能在规定时间内算出的闭式解,因此参赛者必须想出巧妙的策略,在有限时间内尽可能提高得分。

这一次,人类获胜了,因为 OpenAI “只”拿到了第二名。颇具讽刺意味的是,排在它前面的是他们的一位前员工。

AtCoder 总决赛排行榜

AtCoder 总决赛排行榜

我们看到这个模型参加的第二场比赛是 2025 年国际数学奥林匹克竞赛(IMO)。在这场比赛中,最优秀的高中数学选手需要为 6 道高难度数学题构造证明。

OpenAI 的模型在这里同样表现极为出色,达到了金牌水平(前 10%):解出了前 5 道题,但没能解出第 6 题,最终得分为 35/42。有意思的是,今年在 IMO 上表现出色的大语言模型不只来自 OpenAI,Google Deepmind 也开发出了一个达到金牌水平的模型。不过,Google 目前还没有正式确认或认可这一成绩,因为他们的公关团队要等到周一才允许发布声明。

令人印象深刻的不只是成绩,还有他们声称取得这一成绩的方式。这个模型没有使用任何工具,也没有针对这些特定类型的题目进行训练,而是接受了范围广得多的训练,面向那些奖励难以验证的问题。

这个模型不会向公众开放,OpenAI 表示,至少还要几个月,他们才会推出具有这种数学能力的公开模型。他们还卖了个关子,说 GPT-5 即将到来™,谁知道这到底意味着什么。

ChatGPT 4o 能把你的脑子烧坏

ChatGPT 诱发的精神病性症状首次波及了一位大人物:知名风投公司 Bedrock 的一位管理合伙人被引导着相信,存在一个“非政府实体”,正在孤立、诋毁数千人,并破坏他们的生活稳定,甚至导致了 7 人死亡。他就此与开启了记忆功能的 GPT 4o 进行了交谈,而模型则“独立识别并封存了这一模式”。他发布了部分与 AI 的聊天记录,读起来就像一篇 SCP 基金会维基文章,满是浮夸、故作“神秘”的措辞,讨论着收容状态和日志之类的东西。

听起来很正常的 ChatGPT 对话

一段非常正常的 ChatGPT 对话

出现这种行为,是因为模型分不清自己是在角色扮演,还是应该认真对待这些请求并缓和局面。开启记忆功能又进一步加剧了问题,让模型被这种幻想设定“预先引导”。这一直是大多数 AI 长期存在的问题,只不过 ChatGPT 最受关注,因为它是绝大多数公众所了解和使用的模型。

AI 安全领域还需要投入更多努力,防止人们因为 AI 内在的迎合倾向而陷入这样的恶性循环。可以在情况发生时进行检测,更理想的做法则是通过训练消除模型的这种行为,从源头上避免问题。使用人类反馈数据训练时,模型自然会滑向这种状态,因为比起反驳,人性更喜欢奉承和赞美,而模型会学会这一点,以便在训练中获得更多奖励。目前一个快速的解决办法是移除 ChatGPT 的记忆功能,因为这个功能让模型无法“退一步”重新评估情况,也就失去了质疑用户信念的机会。

说真的,这些精神病性发作居然全是 GPT4o 和 4o-mini 引发的,也够离谱的——它们可以说是目前广泛可用的模型里最弱的两个。

新品发布

ChatGPT Agent

OpenAI 这周凑齐了 AI 三件套:研究突破、争议事件,还有产品发布。他们推出了一款计算机操作智能体,可以自动替你完成任务。

它与 Manus 类似,配有一整套工具框架,让模型能够使用终端、文本浏览器、可视化浏览器以及直接调用 API。不过,它的独特之处在于,OpenAI 可以直接访问底层模型,因此能对模型进行微调,让它的表现超越他们其他任何模型开箱即用时的水平。

这体现了套壳创业公司面临的一大劣势。由于无法直接访问模型本身,它们只能优化工具和提示词;而模型提供商既能优化工具框架,也能微调模型,让它以最佳方式使用所提供的工具。如果没有有竞争力的开源替代方案,套壳公司的命运就会掌握在模型提供商手里,被迫绞尽脑汁打造更聪明的工具,而无法专注于打造一个更聪明、能使用这些工具的大脑。

ChatGPT agent 在 Humanity's Last Exam 上的基准测试表现

FLux Kontext Light Fix Lora

随着 Flux Kontext Dev 模型近期发布,我们开始看到基于它的开源微调模型陆续出现。本周我们想重点介绍的是 Light-Fix Lora。你可以把任意图片中的内容复制到另一张图片里,然后运行这个 LoRa,它就会将粘贴的内容自然地融入画面,效果类似于在 Photoshop 中进行合成,但所需的精力减少了 99%。它不仅会帮你修正光照,还会调整物体的风格,通过改变纹理或形状,让它在画面中看起来更加自然。

这些基于开源 Flux 模型的微调有个很酷的地方:它们也能用于 pro 和 max 版本。因此,即使我们无法直接访问这些模型的权重,仍然可以通过 fal.ai 等推理服务提供商应用这些 Lora,让更强的模型获得我们在开源模型上训练出的相同风格或功能,同时享受闭源模型带来的更高质量。

Light Fix Lora 示例

使用 Lora 前后的对比示例

Wan 2.1 Motion Lora

目前,最好的开源文生视频和图生视频模型是 Alibaba 的 WAN-2.1 模型。用户遇到的一个问题是,它生成的画面在运镜方面非常呆板。镜头不会移动,只有画面中的物体在动,这限制了你用这个模型发挥创意的空间。

直到本周,Lovis Odin 发布了一个 lora,为生成的视频加入了逼真的无人机式运镜。他不仅发布了模型,还提供了 ComfyUI 工作流,方便大家直接上手使用。他展示的视频质量很高,虽然分辨率只有 720p,但这是基础 Wan 2.1 模型的限制,并非 lora 本身的限制。

研究

指令多到什么程度才算太多?

你能给大语言模型多少条指令,它才会开始顾此失彼?研究人员发现,无论使用哪种模型,当指令数量达到 100 条时,模型就无法协调一致地遵循所有指令。他们将数量一路增加到 500 条,发现即使是最好的模型,也只能遵循其中 70% 的指令。这看起来可能不算什么问题,但在信息提取任务中就可能碰到,尤其是需要结构化输出的任务,因为输出模式很容易就会变成相当复杂的嵌套结构。

指令数量上升,准确率曲线下降

由此可以得出以下结论:用 o3,它的表现最好,而且在受测且表现良好的模型中价格最低;远离 GPT 4o,因为它连只有 10 条指令时都做不到 100% 的准确率。

收尾

希望你喜欢本周的新闻。如果你想每周都收到这些资讯,记得在下方订阅我们的邮件列表。

向托卡马克聚变反应堆中加入锂。 来自 Twitter 上的 @TokamakEnergy

Stay Updated

Subscribe to get the latest AI news in your inbox every week!

← BACK TO NEWS