ITBear旗下自媒体矩阵:

“瞬悉1.0”类脑脉冲大模型亮相,为国产非Transformer架构生态添动力

   时间:2025-09-08 16:01:00 来源:ITBEAR编辑:快讯团队 IP:北京 发表评论无障碍通道
 

近日,中国科学院自动化研究所正式推出类脑脉冲大模型“瞬悉1.0”(SpikingBrain-1.0),这一突破性成果引发了科技界对非Transformer架构大模型潜力的深度探讨。该模型依托国产千卡GPU算力平台完成全流程训练与推理,不仅验证了自主可控新型大模型架构的可行性,更标志着我国在类脑计算领域迈出关键一步。

与传统Transformer架构依赖“外生复杂性”不同,“瞬悉1.0”采用“基于内生复杂性”的类脑脉冲神经元架构。研究团队通过建立脉冲神经元内生动力学与线性注意力模型的数学关联,突破了传统模型对序列长度的限制。这种设计灵感源自大脑神经元的工作机制,使其在超长序列处理任务中展现出独特优势,为解决传统架构的效率瓶颈提供了新思路。

在性能表现上,“瞬悉1.0”实现了双重突破。训练阶段,该模型仅需约2%的预训练数据量,即可在多任务语言理解(MMLU)、中文多任务语言理解(CMMLU、Ceval)等基准测试中达到与主流Transformer模型相当的水平。推理阶段,其事件驱动特性使复杂度降至常数或部分层常数级别,在100万Token长度下,首个Token生成时间(TTFT)较Transformer架构加速26.5倍;400万Token长度下加速超100倍。即便在手机CPU端,其解码速度也显著优于同等规模的Llama3.2模型。

该模型的生态价值同样突出。研究团队开发了适配国产GPU集群的高效训练框架、Triton算子库及模型并行策略,构建了完整的自主可控技术栈。通过动态阈值脉冲化的多尺度稀疏机制,“瞬悉1.0”在7B参数规模下实现69.15%的稀疏度,大幅降低能耗,为类脑大模型的规模化应用奠定基础。

从应用场景看,“瞬悉1.0”的超长序列处理能力具有广阔前景。在法律文档分析、医学报告解读、复杂多智能体模拟、高能粒子物理实验数据建模、DNA序列分析等领域,其效率优势可显著提升任务处理速度。这种非Transformer架构的技术路线,为下一代低功耗神经形态计算理论与芯片设计提供了重要参考。

 
举报 0 收藏 0 打赏 0评论 0
 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  争议稿件处理  |  English Version