中国科学院微电子所在多模态数据表示学习方面取得进展

中国科学院微电子所与南方科技大学合作，在《自然-通讯》期刊发表重要研究成果，开发出基于随机阻变存储器的深度极限点云学习机系统(DEPLM)。该系统通过软硬件协同设计，将多模态数据统一表示为点集，并利用阻变存储器的存储计算一体化特性，大幅降低了边缘智能系统多模态数据处理的复杂度和训练成本，提升了能效。DEPLM有望为高能效、易训练的跨模态、跨任务边缘智能系统提供新途径，推动增强现实/虚拟现实和无人机等应用发展。

边缘智能硬件系统正日益集成多种视觉传感器（如3D激光雷达、神经形态动态视觉传感器和传统相机）以增强性能。直接在边缘系统上分析这些传感器产生的多模态数据，对于增强现实/虚拟现实和无人机等应用至关重要，但这对软硬件系统提出了严峻挑战，例如多模态数据统一表示、高能效和快速模型训练等。多模态信号的异构数据结构增加了边缘系统开发的复杂性，而传统数字硬件受限于冯·诺依曼瓶颈和摩尔定律放缓。随着模型规模的扩大，复杂的训练过程进一步加剧了这些限制。

中国科学院微电子研究所尚大山研究员和南方科技大学王中锐博士合作，通过软硬件协同设计，开发了一种基于随机阻变存储器的深度极限点云学习机系统(DEPLM)。该系统将多模态数据统一表示为点集，实现通用化处理；软件层面，首次提出深度极限点云学习机，大幅降低训练复杂度；硬件层面，利用阻变存储器实现存储计算一体化，并利用其固有随机性生成DEPLM的随机稀疏权重，抑制读取噪声。研究团队在多种数据类型和学习任务中验证了该系统的普适性和能效优势，降低了训练成本。这项基于随机阻变存储器的深度极限点云学习机，有望为高能效、易训练的跨模态、跨任务边缘智能系统开辟新途径。

该研究成果已发表在《自然-通讯》期刊上，尚大山研究员和王中锐博士为通讯作者。复旦大学、浙江大学、香港大学和香港科技大学等单位参与了该项目，并获得了科技部、国家自然科学基金委、中国科学院和香港研究资助局的支持。

图1 基于随机阻变存储器的深度极限点云学习机软硬件设计

终于介绍完啦！小伙伴们，这篇关于《中国科学院微电子所在多模态数据表示学习方面取得进展》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布科技周边相关知识，快来关注吧！