他们复刻人脑双记忆通路,造出能长效记住上下文的类脑AI芯片

想象这样一个场景:你对智能设备说“帮我设一个明天早上 6 点的刻人闹钟”,设备准确执行。脑双能长脑紧接着你补充道“改成 7 点半吧”。记忆若设备基于传统 AI 架构,通路它可能会陷入困惑,造出住上因为它无法将“改成”与前文的效记下文I芯“闹钟”建立关联,仅将其视为孤立的刻人指令“改成 7 点半”。
这一现象揭示了当前 AI 在处理连续时序信息时的脑双能长脑核心痛点:要么视野狭窄,仅关注当前输入而忽略历史;要么算力高昂,记忆需消耗大量资源强行维持长上下文记忆。通路这一问题在处理语音、造出住上手势及动作等随时间动态变化的效记下文I芯信息时尤为显著。
针对这一难题,刻人帝国理工学院博士后孙鹏飞与苏黎世联邦理工博士后苏哲,脑双能长脑从人类大脑皮层的记忆运作机制中找到了灵感。两位学者在苏黎世联邦理工及苏黎世大学神经信息所合作期间发现,大脑处理信息并非依赖单一速度,而是通过不同区域的协同工作来实现高效记忆与响应。

图 | 左起:孙鹏飞、苏哲(来源:资料图)
具体而言,大脑的前额叶皮层处理速度较慢,擅长整合长期上下文信息;而初级感官皮层处理速度极快,专注于捕捉即时刺激。这种“快慢结合”的机制,使得大脑既能对当下环境做出快速反应,又能保持对过往信息的持久记忆。
受此启发,研究团队构建了一种名为“双重记忆路径”(Dual Memory Pathways)的类脑神经网络,并设计了配套的专用芯片。在语音识别任务中,该芯片的能效比达到了此前最优方案的 5 倍。这项成果标志着从生物大脑汲取的灵感已成功转化为可落地的芯片技术,使 AI 能够在不依赖超长上下文窗口的情况下,精准理解人类语言。

(来源:《自然·机器智能》)
目前,孙鹏飞在帝国理工学院继续从事博士后研究,苏哲则加入了一家美国波士顿的芯片公司。相关研究成果已发表于顶级期刊《自然·机器智能》(Nature Machine Intelligence)。
算法创新:异构融合与记忆计算分离
正如开篇所述,现有 AI 在处理时间序列数据时存在固有缺陷。虽然 AI 在图像识别(如“看猫实验”)中表现卓越,但在处理声音或视频时却显得力不从心。声音是逐秒流动的,前一秒的语境直接影响下一秒的理解,AI 必须记住“刚才发生了什么”才能理解“现在发生了什么”。

(来源:《自然·机器智能》)
孙鹏飞和苏哲从大脑皮层神经元的时间常数差异中获得启发:不同区域神经元处理信息的速度不同,形成了快慢分区。基于此,他们在类脑网络的每一层引入了一个共享的小型慢速记忆模块。
该模块利用低维状态向量来概括过去一段时间的信息。低维度设计意味着极小的体积,仅需极少存储和计算资源。该状态向量通过网络反馈给层内所有神经元,为其提供关键的上下文信息。
这一设计体现了两位研究者对 AI 系统的深刻理解:
1. 异构性:神经网络模块及部署硬件应呈异构融合状态。
2. 存算分离:将记忆与计算功能解耦。记忆模块专注存储与维持上下文,计算模块专注处理当前输入。两者独立优化,避免了资源争抢,提升了整体架构的精简性与高效性。
尽管记忆模块仅占网络参数的 5%-10%,但其性能提升显著:
* 在长时程信息处理基准测试中,准确率从 10% 跃升至 90% 以上。
* 在顺序 MNIST 数据集上,准确率达到 99%,比同类最佳模型高出近 30%。
此外,由于记忆模块是共享的,其开销不随神经元数量线性增长。在参数量相同的情况下,双重记忆路径网络在准确率上明显优于传统的循环神经网络(RNN)和延时网络。
硬件落地:从算法到芯片的全链路优化
类脑计算长期面临“算法创新与硬件脱节”的尴尬局面:许多精巧的算法因功耗过高或面积过大,仅能停留在仿真阶段。孙鹏飞和苏哲从设计之初便将硬件实现纳入考量,苏哲的类脑芯片设计背景使其成为连接算法与硬件的关键桥梁。
为降低硬件开销,他们在算法层面进行了三项关键优化:
1. 片上存储:将小型记忆模块置于芯片片上存储,避免频繁访问外部内存。
2. 并行处理:实现记忆更新与读取的并行操作,消除排队等待时间。
3. 数据流优化:针对稀疏脉冲计算和密集矩阵计算,分别采用不同的数据流策略,实现各自的最优化。
这些算法设计直接反映在芯片架构上。该芯片采用近存计算架构,将计算单元与存储单元紧密集成,大幅减少数据搬运距离。芯片内部设有四条并行计算路径,分别负责脉冲积分、记忆读取、记忆更新和输出,四者同时工作,互不干扰。
在 22 纳米工艺下的后布局仿真显示:
* 能效提升:处理语音识别任务时,能效比同类最佳设计高出 5 倍以上。
* 吞吐量提升:高出 4 倍。
* 面积效率提升:比循环网络架构高出 1 倍,主要得益于省去了存储循环权重矩阵的空间。
应用前景与开源生态
这些性能指标对特定应用场景具有重大意义:
* 长续航设备:如智能手表、AR 眼镜和助听器,能效提升 5 倍可显著延长电池寿命。
* 实时交互场景:如语音助手和手势控制,吞吐量提升 4 倍意味着更低的延迟和更流畅的用户体验。
此外,该芯片架构具有物理实现无关性。它不仅能在特定工艺下实现效率最大化,还可将优化策略下沉至编译器层面,映射到传统计算芯片上,具有极高的通用性。

(来源:《自然·机器智能》)
深层意义:约束催生智能
这篇论文的价值不仅在于能效突破,更在于提出了一种根本性的设计哲学:算法设计必须从源头考虑硬件限制,硬件设计需适配算法特性,二者互为塑造。
硬件限制看似是障碍,实则是智能进化的驱动力。人类大脑能量预算仅约 20 瓦,却能完成超级计算机难以企及的任务。正是能量的有限性,迫使大脑进化出高效的编码方式。
未来展望
目前,该研究工作仍在深入:
* 孙鹏飞将继续探索“将时间作为一种计算资源”,研究轴突延迟、系统级异构网络融合及其与异构硬件的适配。
* 苏哲在新公司中继续研究异构 AI 系统,类脑计算是其重要方向之一。
* 该工作已引起多家美国芯片公司的浓厚兴趣。
值得一提的是,该论文的全部代码和硬件设计已全面开源。在类脑计算领域,大多数工作仅公开算法,硬件设计往往保留在实验室内部。这一开源举措为同行提供了改进基础,并促进了更大系统的集成。
孙鹏飞和苏哲对学术圈与工业界均持开放态度,期待与优秀同行合作,并不排除创业可能。
参考资料:
相关论文 https://www.nature.com/articles/s42256-026-01255-3
运营/排版:何晨龙
注:封面/首图由 AI 辅助生成




