“50美元”李飞飞团队重现DeepSeek R1?事实是…

02-08 07:19

S1模型训练不是从零开始的,而是基于阿里云通义千问(Qwen)模型的监督和微调。s1模型的奇妙“低成本”都是基于开源基础模型的强大能力,可以说还是开源的胜利。


作者 | 黄心怡


今日,一则关于人工智能领域的新闻引起了广泛关注。


据悉,像李飞飞这样的斯坦福大学和华盛顿大学的研究人员以不到50美元的云计算费用,成功地训练出了一种名为s1的人工智能推理模式。据悉,该模型在数学和编码能力测试方面的表现与OpenAIO1和DeepSeekR1相当。


这个消息无疑在AI界投下了一颗重磅炸弹,真相到底是什么?


《科技创新板日报》记者暗访采访业内人士后发现,s1模型训练不是从零开始的,而是基于阿里云通义千问。(Qwen)模型监管微调。也就是说,s1模型的奇妙“低成本”,都是基于已经具备强大能力的开源基础模型。


通义模型“底座”的作用


根据李飞飞等人的研究论文,s1模型训练只使用了1000个样本数据。根据业内共识,这个数据量在AI训练中可以说是微不足道的,一般不足以训练出一个有推理能力的模型。


上海交通大学人工智能学院青年AI科学家谢伟迪副教授告诉《科创板日报》记者,如果你仔细研究斯坦福s1的论文,你会发现s1模型的奇妙之处在于以通义千问模型为基础进行微调。这1000个样本训练更像是“锦上添花”,而不是“从零开始”。”。


国内某知名大型企业CEO还告诉《科创板日报》记者:“从原文来看,所谓的50美元训练出一种新的有推理能力的模式,事实上,它只是从谷歌模型中提取的1000个样本,然后对通义千问模型进行监督和微调。这种微调的成本确实很低,但显然只有站在现有的领先模型“肩上”才能实现。



斯坦福s1论文原文还表示,该模型基于阿里通义千问模型进行微调


谢伟迪指出,国内外其他团队也声称以极低的成本训练出具有推理能力的新模式。但是,一旦你阅读了它的论文原文,你会发现它们无一例外都是基于通义模型作为基础的。



很多海外人工智能研究人员也指出,许多“新”模型都是基于建立通义模型。


以通义千问模型为基础,可以用很少的样本数据形成新的推理模型,但如果换成其他基础模型,新模型的能力就不会提高。因此,Qwen模型真的很神奇,而不是s1。。” 谢伟迪说。


低成本训练大模式有限,但也是方向。


尽管S1模型低成本训练在一定程度上显示了AI训练的潜力,但其局限性也不容忽视。


首先,这种低成本的训练依赖于现有的强大的基础模型,比如阿里通义千问模型。如果没有这样的基础模型,低成本训练的效果会受到影响。


第二,在许多情况下,1000个样本数据的训练量是不够的,尤其是在需要处理复杂任务的情况下。


此外,低成本培训的成功也引发了关于AI模型知识产权和伦理的讨论。如果越来越多的研究依赖于现有的基础模型进行微调,这些基础模型的开发者是否应该获得相应的回报?如何保证AI技术的公平使用和共享?这些问题需要业界进一步讨论和处理。


尽管s1模型的低成本训练引起了争议,但是它背后的基本思路无疑为AI领域提供了新的思考方向。


武汉人工智能学院一位资深研究人员告诉《科技创新板日报》记者,如何在保证模型性能的前提下降低培训成本,是AI研究的重要课题。未来,随着技术的进步和算法的提高,我们可能真的可以看到更多低成本、高性能的AI模型。


本文仅代表作者观点,版权归原创者所有,如需转载请在文中注明来源及作者名字。

免责声明:本文系转载编辑文章,仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布,请及时与我们联系进行审核处理或删除,您可以发送材料至邮箱:service@tojoy.com