Vector Lab
VECTOR LAB

EST. 2025

WEEKLY UPDATE2026
BY ANDREW MEAD

Jev

Jev 到底是什么?开源模型在 WeirdML V3 中惨遭滑铁卢

注:本文由 OpenAI gpt-6.1-sol 通过 Codex CLI 自动翻译;翻译质量可能有所欠缺,尤其是技术术语。

新品发布

Jev

一家名为 TypeSafe AI 的新创公司本周发布了模型 Jev,引发了广泛关注。 虽然大家把它当成大语言模型(LLM)一样大肆炒作,但它其实并不是。

Jev 的“基准测试”

Jev 与 LLM 在分类任务上的基准测试对比。注意,横轴采用对数刻度。

实际上,它是一种所谓的零样本分类模型。 也就是说,你给它一段文本和一组类别,它就会输出这段文本属于各个类别的概率。

这类模型通常非常小,而且由于它们只输出概率,你只需要为输入 token 付费。 因此,Jev 每百万输入 token 仅收费 4.2 美分,你完全不需要为输出 token 付费,因为根本就没有输出 token。

这听起来可能很有革命性(Twitter 上很多人就是这么想的),但如果你在 ChatGPT 引发 AI 寒武纪大爆发之前就一直关注这个领域,就会知道这并没有那么革命性;我们从 2020 年就开始训练这类模型(也就是 BERT 模型)了!

我们已经有各种能做这件事的模型(比如 Modern Bert Zeroshot),而且它们非常容易训练(我早在 2021 年就在自己的笔记本电脑上训练过!)。 与生成式 AI 模型不同,这些更传统的机器学习模型训练和部署起来都容易得多;它们可以轻松在用户的浏览器里运行,甚至在手机上也没问题。

就开箱即用的表现而言,Jev 比我们目前拥有的开源模型更好,也优于人们一直用来做分类任务的廉价 LLM(比如 Gemini 3.5 Flash Lite 和 GPT 5.6 Luna)。不过,它的爆红已经催生了不少仿制品(其中许多是开源的),所以我预计这个差距很快就会缩小。

还需要注意,这些都是零样本模型,也就是说,它们并没有针对当前使用它们的具体分类任务进行训练。正如我前面所说,这类模型非常容易微调,只需要几十个样本就能训练,而且在大多数家用电脑上就能完成,不需要 GPU。 这些微调后的版本将大幅超越零样本模型(以及 LLM),而训练和运行的成本对你来说基本为零。

话虽如此,如果你的分类流程目前使用的是 LLM,我会建议换成 Jev,因为它的表现应该至少能与大多数 LLM 持平,甚至更好,而且便宜得多、速度也快得多。完成替换后,我会进一步考虑微调一个自己的版本,把成本降到 0。

研究

Weird ML V3

说到模型微调,一个新的微调基准测试发布了:Weird ML V3。

Weird ML V3 的初步得分

横轴采用对数刻度。GPT-6 Astra 仅用十分之一的 token,就取得了与 Fable 5.1 相同的分数。

这个基准测试衡量的是:把模型放进一个机器学习环境,除了任务本身之外几乎不给任何指导,它能做得有多好。 模型需要自行查看数据,进行筛选和处理,决定实际要训练的模型采用什么架构,然后搭建一套能成功训练模型的流程(它们只有 2 分钟的训练算力预算,因此必须确保模型足够高效)。

上一版是个不错的基准测试(Epoch AI 最近还对这个基准测试做了评估,没有发现任何问题,这种情况居然还挺少见),但顶尖模型在上面的表现已经逐渐接近饱和,所以是时候推出新版了。

他们从基准测试中公开了 4 个样例(其余题目仍然保密),让大家了解他们希望模型具备什么能力。 任务包括形状检测与分类、船舶检测、望远镜数据信号处理,以及 bonanza。最后这个任务要求模型并行解决 Weird ML V2 中的全部 17 道题,而它唯一能得到的分数是这 17 道题的平均分,因此它必须自行判断哪些题做得好、哪些题做得不好。

这个基准测试很好地区分了不同模型的能力,尤其是开源模型与闭源模型之间的差异。 开源模型的训练往往围绕主流软件工程基准测试和任务展开,通常缺乏多样化的编程能力,而大多数基准测试都没能发现这一点。 Weird ML 没有这个问题,因为大多数模型之间的差距都很明显,因此它能很好地衡量模型的通用能力。

初步得分也印证了这一点:Fable 和 GPT-6 Astra 遥遥领先,其中 GPT-6 凭借更强的图像理解能力占据榜首,因为许多题目都能从强大的多模态能力中受益。 DeepSeek V4.1 Flash 和 Gemini 3.8 Flash 在许多基准测试上似乎接近最前沿水平,但在这里却明显落后。

我会把 Weird ML V3 加入撰写新闻时参考的基准测试清单。这是个好消息,因为我一直依赖的许多基准测试都已经受到数据污染(比如 DeepSWE),不过这个话题就留到以后再聊吧。

结语

希望你喜欢本周的新闻。如果你想每周都收到新闻,记得在下方订阅我们的邮件列表。

Kevin Ngo 在 Twitter 上分享的作品:Claude 的涂鸦

Stay Updated

Subscribe to get the latest AI news in your inbox every week!

← BACK TO NEWS