ITBear旗下自媒体矩阵:

降价非万能 大模型吞吐量成新竞争焦点

   时间:2024-05-22 13:32:38 来源:ITBEAR编辑:星辉 发表评论无障碍通道

【ITBEAR科技资讯】5月22日消息,近期大模型市场迎来了一波降价狂潮。其中,豆包通用模型推出了lite-4k/32k版本,以每千tokens推理输入仅售0.3厘的价格引起了市场关注。同时,通义千问的qwen-long模型也进行了降价,每千tokens推理输入售价为0.5厘。而百度文心则更大方,直接宣布其ERNIE Speed和ERNIE Lite模型免费使用。

这场价格战由豆包大模型率先发起,至今已有一个星期。科技博主阑夕对此发表评论称,降价并非万能,如果模型的吞吐量太小,再低的价格也难以吸引大量用户。他强调,只有把价格降低的同时,保证足够的吞吐量,才能真正满足市场需求。

据ITBEAR科技资讯了解,豆包模型在定价策略上的一个重要举措是将TPM(每分钟token数)提高到80万,远高于同行的10万到30万tokens。此外,如果对话文本较小,其RPM(每分钟请求数)上限可达1万,支持的并发量是同行的几十倍。这一策略无疑给其他大模型带来了压力,也引发了市场对于其他大模型是否会跟进降价的猜测。

阑夕还指出,大模型的算力成本主要在训练端,而推理端的成本实际上每年都有较大的优化空间。然而,即使有这样的优化,算力成本也不可能降至零。因此,他认为,只有价格足够便宜,同时仍能保证盈利,才能推动应用和商用市场的规模增长。这也是包括OpenAI在内的主流大模型开发商的共同思路。

当前大模型市场还处于共同做大蛋糕的阶段。更多公司一起降低企业入局的成本门槛,将有助于实现市场的共赢。在这场降价狂潮中,我们期待看到更多创新和竞争,以推动整个行业的发展。

 
举报 0 收藏 0 打赏 0评论 0
 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  RSS订阅  |  开放转载  |  滚动资讯  |  争议稿件处理  |  English Version