Qwen助力,全球最快32B开源模型K2 Think诞生,速度超2000 tokens/秒

09-11 06:27

全球最快的开源大模型来了,它的速度达到了每秒2000个tokens!

这个模型虽然只有320亿参数(32B),但其吞吐量超过典型GPU部署的10倍以上。

它就是由阿联酋的穆罕默德·本·扎耶德人工智能大学(MBZUAI)和初创公司G42 AI合作推出的K2 Think。

这个名字或许会让人有些熟悉。没错,它和月之暗面前不久推出的Kimi K2在命名上有点相似,不过阿联酋的这个多了个“Think”。

有意思的是,K2 Think背后有着“made in China”的影子。从HuggingFace中的Model tree来看,K2 Think是基于Qwen 2.5 - 32B打造的:

除了“全球最快开源AI模型”这一称号,MBZUAI官方还称自家的K2 Think是“有史以来最先进的开源 AI 推理系统”。那么它的实力究竟如何呢?让我们接着往下看。

实测速度均超2000 tokens/秒

目前,K2 Think已经给出了可以体验的地址(见文末)。

我们先测试一道IMO的试题:

Let a_n = 6^n + 8^n. Determine the remainder when dividing a_{83} by 49.

可以直观地看到,在没有任何加速的情况下,K2 Think思考后输出答案的速度非常快。从底部给出的速度来看,达到了2730.4 tokens/秒。

接下来,我们用中文测试一个经典问题:

Strawberry这个单词里面有几个字母R?

速度依旧保持在2224.7 tokens/秒,并且给出了正确答案:3个R。

我们再实测几道AIME 2025的数学题:

Find the sum of all integer bases $b>9$ for which $17_{b}$ is a divisor of $97_{b}$.

Find the number of ordered pairs $(x,y)$, where both $x$ and $y$ are integers between $-100$ and $100$, inclusive, such that $12x^{2}-xy-6y^{2}=0$.

可以看出,K2 Think的最大特点是在所有问题上均能保持超过2000 tokens/秒的速度,并且就目前的实测结果而言,生成的答案都是正确的。

不过从功能角度来看,目前K2 Think还不支持文档传输以及多模态等能力。MBZUAI的高级研究员Taylor W. Killian在X上解释道,这个模型主要为数学推理而开发。

技术报告已发布

从体量上看,K2 Think仅有32B,但官方表示,它的性能已经可以与OpenAI和DeepSeek旗舰推理模型相当。

从测试结果来看,K2 Think在多项数学基准测试中取得了不错的分数,例如AIME’24 90.83分、AIME’25 81.24分、HMMT25 73.75分,以及Omni - MATH - HARD上取得60.73分的成绩。

并且K2 Think团队已经发布了技术报告:

从整体来看,K2 Think团队主要从六个方面实现了技术创新:

长链路思维的监督微调(SFT):通过精心设计的链式推理数据,训练模型逐步思考,而不是直接给出答案,使它在处理复杂问题时更有条理。

可验证奖励的强化学习(RLVR):模型不依赖人类偏好打分,而是直接以答案的对错作为奖励信号,显著提升了在数学、逻辑等领域的表现。

推理前的智能规划(Plan - Before - You - Think):先让一个规划代理提炼问题要点,制定解题大纲,再交给模型展开详细推理,就像人类先列提纲再解题一样。

推理时扩展(Best - of - N采样):对同一问题生成多个答案,再挑选最佳结果,从而提高正确率。

推测解码(Speculative Decoding):在推理时并行生成和验证答案,减少冗余计算,加速输出。

硬件加速(Cerebras WSE晶圆级引擎):依托全球最大的单芯片计算平台,实现单请求每秒超2000 tokens的生成速度,使长链路推理也能保持流畅的交互体验。

与此同时,研究团队还对K2 Think进行了系统的安全测试 ,包括拒绝有害请求、多轮对话鲁棒性、防止信息泄露和越狱攻击等,整体达到了较高水平。

体验地址:https://www.k2think.ai/

技术报告:https://k2think-about.pages.dev/assets/tech-report/K2-Think_Tech-Report.pdf

参考链接:

[1]https://www.k2think.ai/k2think

[2]https://x.com/mbzuai/status/1965386234559086943

[3]https://huggingface.co/LLM360/K2-Think

[4]https://venturebeat.com/ai/k2-think-arrives-from-uae-as-worlds-fastest-open-source-ai-model

[5]https://www.youtube.com/watch?v=8C6_B1QeyBo

本文来自微信公众号 “量子位”(ID:QbitAI),作者:金磊,36氪经授权发布。

本文仅代表作者观点,版权归原创者所有,如需转载请在文中注明来源及作者名字。

免责声明:本文系转载编辑文章,仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布,请及时与我们联系进行审核处理或删除,您可以发送材料至邮箱:service@tojoy.com