Vector Lab
VECTOR LAB

EST. 2025

WEEKLY UPDATE2025
BY ANDREW MEAD

Kimi K2 登顶

Kimi K2 Thinking 发布,Llama.cpp 迎来重大升级,还有一位能连续工作数天的 AI 科学家

注:本文由 OpenAI gpt-6.1-sol 通过 Codex CLI 自动翻译;翻译质量可能有所欠缺,尤其是技术术语。

新品发布

Kimi K2 Thinking

Moonshot AI 发布了其本就实力强劲的 Kimi K2 模型的思考版本。

与 GPT 5 和 Sonnet 4.5 的基准测试对比

只拿 GPT-5 和 Sonnet 4.5 来对比,这点值得点赞。当然,当你的模型能与它们正面竞争,并在基准测试中胜出时,做到这一点也不难

模型依然是此前那个拥有 1 万亿参数的混合专家庞然大物,激活参数为 320 亿。模型采用了量化感知训练,因此可以在性能损失很小的情况下以 4 位精度部署。团队公布的所有基准测试结果都来自 INT4 模型。

它依然是写作能力最强的模型,甚至不知怎么又超越了此前稳居第一的上一代指令模型。 在个性和整体文风方面,它也依然是最独特的大语言模型,与其他几乎所有主流大语言模型那种千篇一律的 AI 味文字截然不同。

在这个版本中,Moonshot 团队着重打磨了模型的智能体能力,而这正是指令模型此前的短板。在智能体编程方面,它似乎还不一定能达到 GPT-5 和 Sonnet 4.5 的水平,但在更通用的智能体应用场景中,它似乎已经能独当一面。

模型每百万输入 token 的价格(美元)每百万输出 token 的价格(美元)每秒 token 数
GLM 4.6$0.60$2.2090
Claude Sonnet 4.5$3$1557
GPT 5$1.5$1034
Kimi K2 Thinking$0.6$2.5025
Kimi K2 Thinking Turbo$1.15$8107
Turbo 模型与普通版相同,只是部署在更快的硬件上。信息来自 OpenRouter

这个模型的主要问题是速度和 token 用量。

模型价格很便宜,每百万输出 token 只需 2.50 美元,但每秒 25 个 token 的速度,甚至比慢得像冰川一样的 GPT-5 还慢(在 Codex 里用过 GPT-5 的人都懂)。对于智能体任务来说,这个速度慢得让人无法接受。你可以切换到 Turbo 接口,但价格就会变得与 GPT-5 差不多,这也就失去了使用这些中国模型的一大理由:价格非常便宜。

此外,Kimi K2 Thinking 也存在大多数第一代推理模型都有的问题:思考过程极其冗长。具体来说,Kimi K2 的思维链似乎比任何其他推理模型都长,下方的 Artificial Analysis 基准测试就展示了这一点。

Token 用量基准测试

思考 token 用量是 GPT-5 high 的两倍,这意味着,如果两者每秒生成的 token 数相同,它用起来会让人感觉慢上一倍

这个问题是可以解决的,所以我预计 Moonshot 团队今后会修复它,但目前它确实让模型用起来更慢了。

不过,这些问题还不至于让人放弃它,因为说到底,这个模型非常强大,智能水平接近甚至已经达到最前沿,而且还是开源的。接下来一周左右,我会把 Kimi K2 Thinking 当作日常主力模型,看看它能否取代 GPT-5,回答我日常向 AI 提出的各种问题。

由于智能的前沿参差不齐,这些前沿模型会在基准测试榜首交替领先,没有一个明确、全面的赢家。归根结底,应该使用哪个模型,取决于你的具体使用场景。我往往更关注智能体编程,因为这是我使用这些模型最多的场景,但你的需求可能不同。因此,我建议你建立一套自己的小型评测集,用它来测试现有模型和新发布的模型,从而判断是否值得切换。

Llama.cpp 重大更新

Llama.cpp 团队受够了给 Ollama、LMStudio 和 Jan 这类不怎么样的工具充当默默无闻的后端,于是推出了一系列改进,让所有人都能轻松上手这个库。

第一项改动,是重新设计了运行 llama.cpp 模型时可用的默认 UI。 此前,这个界面非常简陋,也不会为用户保存任何内容。

新版 Llama cpp UI

改版后的 UI,与 ChatGPT 界面非常相似

现在,这个界面的布局更符合常见使用习惯,更直观,也更好看了。它还支持聊天历史记录,以及修改采样参数、让模型遵循结构化输出格式等更高级的功能。

Llama cpp 长期以来的一个问题就是配置困难,尤其是与 Ollama 这类工具相比。

随着 LlamaBarn 的发布,这个问题如今也得到了解决。这是一款 Mac 菜单栏应用,只需点击一下就能运行大语言模型。

LlamaBarn UI

LlamaBarn 会自动处理模型下载、针对你具体硬件的优化,以及模型的实际运行。 它会启动一个兼容 OpenAI API 客户端库的服务,供你在代码中调用,同时也会启动上面提到的新网页 UI。

如果你目前正在 Mac 上使用 Ollama、LMStudio、Jan 或其他工具在本地运行模型,我强烈建议你切换到 Llama.cpp,因为这些工具底层用的都是它。 使用 Llama.cpp,你就能获得运行这些模型的第一方体验,无需承受其他库附带的臃肿功能,或那些会降低模型质量的“性能优化”。

快讯

OpenAI Codex 更新

OpenAI 为其编程平台 Codex 发布了一些更新,最值得关注的是将使用限额提高了 50%,并推出 GPT 5 Codex Mini。后者消耗使用额度的速度只有常规 Codex 模型的一半,而且运行速度也明显更快。

GPT 5 Codex Mini 在 SWE Bench Verified 上的表现比完整版低 3%

能连续工作数天的 AI 科学家

一家名为 Edison Scientific 的公司推出了一套智能体系统,据称每次可以连续运行数天。

他们表示,该系统已经围绕此前未知或未被探索过的独特课题撰写了 7 篇论文,成功率达到 80%。他们还附上了一篇论文,介绍系统的工作原理。

如果你有学术邮箱,现在就可以免费使用,获得 3 次查询机会。之后每次运行收费 200 美元。

模型概览

ComfyUI 云服务

热门图像和视频生成平台 ComfyUI 推出了按月付费的算力套餐,用户每天可使用 8 小时的 A100 40GB GPU 来生成图像和视频。

如果你是重度用户,是一家有自定义工作流需要运行的初创公司,或者一直想用 ComfyUI 却缺少算力,那么这是目前最划算的选择。

结语

希望你喜欢本周的新闻。如果你想每周都收到新闻,记得在下方订阅我们的邮件列表。

俯瞰数据中心

Epoch AI 发布了一张很酷的可视化图,展示了目前正在建设中的所有主要数据中心

Stay Updated

Subscribe to get the latest AI news in your inbox every week!

← BACK TO NEWS