南方科技大学深港微课题组在端侧多模态数据表示学习方面取得进展

来到golang学习网的大家，相信都是编程学习爱好者，希望在这里学习科技周边相关编程知识。下面本篇文章就来带大家聊聊《南方科技大学深港微课题组在端侧多模态数据表示学习方面取得进展》，介绍一下，希望对大家的知识积累有所帮助，助力实战开发！

南方科技大学与中科院微电子所合作，研发基于随机阻变存储器的深度极限点云学习机系统（DEPLM），相关成果发表于《自然-通讯》期刊。该系统通过软硬件协同设计，高效处理来自多种视觉传感器的多模态数据，显著提升边缘智能硬件的性能和能效。

当前边缘智能系统面临多模态数据处理的挑战，包括数据异构性、冯·诺依曼瓶颈以及摩尔定律放缓等问题。DEPLM系统创新性地将多模态数据统一表示为点集，并采用深度极限点云学习算法，大幅降低模型训练复杂度。 该算法大部分权重无需训练，极大简化了训练过程。

硬件层面，DEPLM利用纳米级阻变存储器实现存储与计算的一体化，有效缓解冯·诺依曼瓶颈。同时，阻变存储器的固有随机性被用来生成DEPLM的随机稀疏权重，降低读取噪声的影响。实验结果表明，DEPLM系统在多种数据类型和学习任务中表现出色，能效提升最高达15.79倍，训练成本降低最多可达89.46%。

这项研究为开发高能效、易训练的跨模态、跨任务边缘人工智能系统提供了新的思路。该项目得到了多方机构的资助。

以上就是《南方科技大学深港微课题组在端侧多模态数据表示学习方面取得进展》的详细内容，更多关于南科大的资料请关注golang学习网公众号！