在人工智能领域，DeepSeek的兴起无疑为本地化部署和推理市场注入了一股强劲动力，显著降低了算力成本，使得众多企业能够享受到AI大模型带来的效率飞跃。然而，对于中小企业而言，尽管算力成本有所降低，但高性能服务器的价格仍然构成了一道难以逾越的门槛。
服务器作为大模型运行的核心设备，其高昂的价格常常让中小企业望而却步。以GPU服务器为例，一台顶级的GPU服务器价格动辄数十万甚至上百万，这对于资源有限的中小企业来说，无疑是一笔巨大的开销。因此，在选择算力平台时，中小企业面临着诸多挑战。
据IDC数据显示，到2027年，智能算力规模将比2022年增长1.7倍，其中用于推理的工作负载占比高达72.6%。这意味着，未来AI算力需求将面临巨大的供应缺口，所有算力都需要具备智能能力。然而，现实情况是，随着DeepSeek等大模型的火爆，一体机市场虽然迎来了蓬勃发展，但售价依然不菲。目前市场上已有超过60家企业推出了结合DeepSeek的一体机产品，但价格普遍在几十万到上百万之间，甚至更高。
浪潮信息副总经理赵帅指出，即便是支持DeepSeek-R1蒸馏版本的一体机，售价也达到了数十万，而支持满血版DeepSeek的一体机更是价格高昂。这对于大部分中小企业、教育机构以及科研用户来说，无疑是一笔巨大的投入。因此，如何选择合适的算力平台，成为了中小企业应用大模型时的一大痛点。
赵帅进一步分享了中小企业和科研院校在使用大模型时的困境。他表示，尽管用户非常渴望利用DeepSeek等大模型创造价值，但如果选择上云的方式，将涉及私有数据的安全问题。对于一些涉及商业机密或保密数据的企业和科研机构来说，通过云的方式使用大模型显然是不可行的。高昂的初始投资费用也让许多企业对大模型赋能业务持观望态度。
除了成本问题外，中小企业在应用大模型的业务场景中，还面临着资源浪费的问题。由于人员规模和业务规模较小，中小企业对于高并发能力的需求并不高。因此，如果部署一个满血版的服务器或一体机，将造成资源的极大浪费。赵帅指出，对于规模在100~200人的企业来说，小并发量下人均20token/s的流畅体验已经足够。
中小企业在使用服务器运行大模型的同时，还希望将企业的其他业务如OA、邮件等也纳入服务器的管理范围。这些现实需求对硬件厂商提出了更高的考验。为了满足中小企业的这些需求，浪潮信息近日推出了元脑CPU推理服务器。该服务器采用4颗英特尔至强6448H处理器和多通道内存系统设计，支持32组DDR5内存，最大容量可达16TB，内存带宽高达1.2TB/s。结合AMX加速技术，该服务器能够高效运行DeepSeek-R1（32B）和QwQ-32B等推理模型，提供流畅稳定的用户体验。
测试数据显示，基于单台元脑CPU推理服务器，在使用DeepSeek-R1 32B进行问答场景下，解码性能超过20tokens/s，20个并发用户下总token数达到255.2tokens/s；在使用QwQ-32B进行模型推理时，支持20个并发用户数，总token数达到224.3Tokens/s。这一性能表现足以满足中小企业的业务需求。
赵帅介绍，目前CPU推理服务器的询单客户众多，已经有不少金融、教育、初创企业以及高校科研团队对CPU推理服务器表达了强烈的采购意愿。这表明，CPU推理服务器在中小企业中具有广阔的市场前景。
然而，要想利用CPU实现本地推理过程，并非仅凭硬件性能就能实现。软件的优化与适配同样至关重要。浪潮信息通过张量并行计算AWQ量化的方式以及TP并行的方式，对软硬件进行了协同优化，提升了整机的内存带宽和模型解码速度。这使得元脑CPU推理服务器能够为企业提供更高效、更灵活、更稳定的AI通用算力支撑。
赵帅还指出，CPU在运行DeepSeek-R1这种MoE架构的模型时具有独特优势。通过路由器选择专家模型的方式，CPU在数据选择上比GPU的推理解决方案更友好。这一优势使得CPU推理服务器在特定场景下具有更高的性价比。
除了性能优势外，用户对于CPU推理服务器的易用性也提出了更高要求。为了满足这一需求，软硬件服务商纷纷推出了平台化的软件产品与硬件的结合方案。浪潮信息推出了EPAI平台，通过预装AI操作系统和AIStation管理平台，使得用户可以自由选择模型并通过简单界面进行操作。这一方案大大提升了CPU推理服务器的易用性。
当然，对于大型企业以及追求高并发、高性能模型的企业来说，GPU服务器仍然是更好的选择。但对于中小企业而言，纯CPU的服务器已经足够满足其业务需求，并且具有更高的性价比。赵帅表示，如果用户规模较小，利用CPU推理服务器也可以运行DeepSeek-R1 671B的模型，虽然性能略低但仍然能够满足顺畅的推理需求。
随着人工智能技术的不断发展，中小企业对于AI大模型的需求将越来越强烈。而CPU推理服务器的推出，无疑为中小企业提供了一种更加经济、高效的选择。未来，随着技术的不断进步和市场的不断扩大，CPU推理服务器有望在中小企业中迎来更加广泛的应用。
