【ITBEAR科技资讯】6月4日消息，昆仑万维近日宣布，他们已成功开源了一款名为Skywork-MoE的2千亿参数稀疏大模型。这款模型凭借其强劲的性能和更低的推理成本，立即引起了业界的广泛关注。Skywork-MoE的模型权重和技术报告均被完全开源，且可免费商用。
Skywork-MoE是基于昆仑万维先前开源的Skywork-13B模型中间checkpoint进行扩展而来的。它是首个将MoE Upcycling技术全面应用并实际落地的开源千亿MoE大模型，同时也成为了首个能在单台4090服务器上实现推理的开源千亿MoE大模型。
据ITBEAR科技资讯了解，Skywork-MoE在相同的激活参数量20B(即推理计算量)下，其性能在行业中处于领先地位，甚至接近于70B的Dense模型。这一突出表现使得Skywork-MoE的推理成本降低了近三倍。与此同时，与DeepSeekV2相比，Skywork-MoE的总参数规模还要小1/3，但它却能用更小的参数规模实现相近的性能。
昆仑万维对此次开源的Skywork-MoE模型寄予厚望。他们希望，通过开源模型、技术报告和相关的实验结果，能为开源社区贡献更多的MoE训练经验和专业知识，涵盖模型结构、超参数选择、训练技巧以及训练推理加速等各个方面。他们的目标是探索如何用更低的训练推理成本来训练出更大、更强的模型，从而为通往AGI(通用人工智能)的道路贡献一份力量。
