ITBear旗下自媒体矩阵:

低成本高效率!斯坦福团队打造媲美OpenAI推理模型s1

   时间:2025-02-06 12:48:39 来源:砍柴网作者:砍柴网编辑:快讯团队 发表评论无障碍通道

近期,人工智能领域迎来了一项引人注目的新突破。一份最新发布的研究报告显示,斯坦福大学与华盛顿大学的科研团队,仅花费了不到50美元(当前汇率下约为364元人民币)的云计算成本,便成功打造出一个具备卓越“推理”能力的人工智能模型——s1。

这款名为s1的模型,在数学与编程能力测试中,展现出了与OpenAI的o1及DeepSeek的r1等业界顶尖推理模型相当的水平。尤为s1模型及其训练所用的全部数据与代码,均已在GitHub平台上开源,供全球开发者共享与学习。

s1团队透露,他们采用了“蒸馏”技术来构建这一模型。该技术通过训练模型去模仿并学习另一个模型的答案,从而提炼出其“推理”能力。具体而言,s1是从谷歌的推理模型Gemini 2.0 Flash Thinking Experimental中蒸馏而来。有趣的是,上个月,加州大学伯克利分校的研究人员也运用了相同的蒸馏方法,但成本高达约450美元,创建了一个人工智能推理模型。

s1模型的问世,引发了业界对于人工智能模型商品化的深刻思考。若能够以相对低廉的成本复制出价值数百万美元的模型,那么大型科技公司的竞争优势何在?这一疑问无疑给行业带来了新的挑战与反思。

面对这一新情况,大型人工智能实验室表现出了明显的不悦。例如,OpenAI此前就曾指责DeepSeek不当获取其API数据用于模型蒸馏。而此次s1的推出,无疑加剧了这一领域的竞争与争议。

s1团队的研究人员表示,他们致力于寻找实现强大推理性能和“测试时扩展”的最简洁途径。这些正是OpenAI的o1模型所取得的一些突破性进展。s1的论文指出,通过一种称为监督微调(SFT)的方法,可以利用较小的数据集来蒸馏推理模型。在SFT中,模型被明确指示在数据集中模仿特定行为,这比DeepSeek用于训练R1模型的大规模强化学习方法更具成本效益。

谷歌通过其Google AI Studio平台免费提供了Gemini 2.0 Flash Thinking Experimental模型的访问权限,但设有每日使用限制。然而,其使用条款明确禁止对模型进行逆向工程,以开发与谷歌自身人工智能产品竞争的服务。尽管如此,s1团队仍巧妙地利用了这一资源。

s1基于阿里巴巴旗下中国人工智能实验室Qwen提供的一款小型、现成的免费模型。为了训练s1,研究人员精心策划了一个包含1000个问题及其答案的数据集,并收集了谷歌Gemini 2.0 Flash Thinking Experimental为每个答案提供的“思考”过程。在16个Nvidia H100 GPU的支持下,s1的训练耗时不到30分钟,成本仅为约20美元。

更为巧妙的是,研究人员还为s1设计了一个独特的技巧,让其能够在工作过程中进行自我检查并延长“思考”时间——他们让s1在推理过程中“等待”。论文显示,这一简单的添加,有助于模型获得更为准确的答案。

 
举报 0 收藏 0 打赏 0评论 0
 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  RSS订阅  |  开放转载  |  滚动资讯  |  争议稿件处理  |  English Version