微电子所在多模态数据表示学习方面取得进展

　　当前，边缘智能硬件系统正越来越多地将各种不同类型的视觉传感器集成于一体(包括3D激光雷达、神经形态动态视觉传感器以及传统相机)以提升系统性能。直接在边缘智能系统上对不同传感器输出的多模态数据进行分析，对于各种新型应用如增强现实/虚拟现实、无人机等都很重要，这一需求对软硬件系统的多个方面提出了挑战。比如，系统需要考虑如何对多模态数据进行统一的数据表征、较高的硬件能效以及快速的模型训练。但多模态信号在数据结构上的异构性导致边缘系统的开发有较高复杂性，传统数字硬件的性能受限于物理分离的存储与计算单元(即冯·诺依曼瓶颈)以及晶体管尺寸缩放的物理极限(摩尔定律放缓)。随着模型规模的持续扩大，其复杂的训练过程进一步加剧了上述限制。
 

　　近日，中国科学院微电子研究所集成电路制造技术全国重点实验室尚大山研究员与南方科技大学深港微电子学院王中锐博士合作，通过软硬件协同设计，开发了基于随机阻变存储器的深度极限点云学习机系统。本研究提出一种新颖的软硬件协同设计系统—基于随机电阻存储器的深度极限点云学习机(DEPLM)，可支持高效统一的点集分析。从数据层面，将多模态数据统一表示为点集，从而实现通用化处理；从软件层面，团队首次提出深度极限点云学习机，大部分权重无需训练，大幅降低了训练复杂度；从硬件层面，阻变存储器不仅可以实现存储与计算的一体化，还利用其固有的编程随机性生成DEPLM的随机稀疏权重，从而抑制了读取噪声的影响。合作团队在多种数据类型和两类学习任务中验证了该系统的普适性。与传统数字硬件系统相比，该协同设计系统实现了能效提升，同时降低了训练成本。这种基于随机阻变存储器的深度极限点云学习机，有望为跨模态、跨任务的高能效、易训练边缘智能系统开辟新路径。
 

　　研究成果近期发表在《自然-通讯》期刊上(Nature Communications, DOI: https://doi.org/10.1038/s41467-025-56079-3)。中国科学院微电子研究所尚大山研究员和南方科技大学王中锐博士为该文章的通讯作者。参与本工作的还有复旦大学、浙江大学、香港大学和香港科技大学等合作单位。该项目得到了科技部、国家自然科学基金委、中国科学院和香港研究资助局的支持。
 

图1  基于随机阻变存储器的深度极限点云学习机软硬件设计