昇腾赋能三维生成，浙大突破跨模态建模

**昇腾AI赋能！浙大突破三维建模瓶颈，跨模态3D生成技术引关注**。浙江大学团队借助昇腾平台NPU，成功研发出首个三维模型生成算法Img2CAD，该算法创新性地将草图、图像等多模态输入转化为精确三维几何信息，无需依赖可微渲染器，降低了对Vector算力的需求。MindSpeed加速套件的运用，保障了视觉大模型与脚本语言模块的高效协同，而CANN算子库则充分发挥了NPU的并行计算能力，实现了三维建模的即时交互。该技术已应用于3D数据资产快速构建及KOKONI 3D打印机等产品，为数字制造、AR/VR等领域提供高效解决方案。这一突破标志着智能三维内容创作进入“低门槛、高效率、高质量”时代，未来将在工业设计、数字文创等领域释放巨大潜力，加速虚拟与现实世界的融合。

在虚拟现实与元宇宙技术迅猛发展的当下，三维虚拟内容创作面临的高成本与低效问题始终制约着行业的进一步突破。近日，浙江大学计算机科学与技术学院博士生、魔芯科技陈天润率领团队，借助浙江大学 鲲鹏昇腾科教创新卓越中心提供的强大算力支持，成功开发出基于昇腾平台NPU的首个三维模型生成算法——Img2CAD。

该研究的关键突破在于，首次实现了利用生成式模型精准输出可用于描述三维结构的脚本语言。通过引入Transformer架构，系统能够高效地将稀疏且抽象的草图、图像等多模态输入“翻译”为精确的三维几何信息，无需依赖可微渲染器，完全在NPU上完成训练与高速推理，摆脱了对大量Vector算力的依赖。最终生成的3D模型不仅精度高，还可直接用于3D打印、CNC加工、数字展览展示，并能无缝导入主流CAD软件进行后续编辑。其中，昇腾加速套件MindSpeed发挥了核心作用，其支持多种数据类型的加载与构建，灵活适配多模态数据的异构特性，有效保障了视觉大模型与脚本语言模块之间的高效协同。

此外，团队通过对模型结构的深度优化，实现了三维建模过程的即时交互。依托CANN算子库，NPU的并行计算能力与高效内存访问机制得以充分发挥，显著降低了计算延迟与通信开销，大幅提升了推理速度。这使得系统能够实时响应用户输入的草图或图片，为实际应用场景提供了流畅、低延迟的3D交互建模体验，奠定了坚实的技术基础。

该三维生成方法目前已应用于3D数据资产的快速构建，并服务于如KOKONI 3D打印机等实际产品场景，为数字制造、增强现实（AR）、虚拟现实（VR）等领域提供了高效的内容生成解决方案。项目已产出3篇高水平研究成果，包括1篇发表于中科院一区期刊及2篇被CCF-A类会议收录的论文，部分成果已实现商业化落地，正持续推动昇腾算力在三维数字化产业中的广泛应用。

此次在跨模态可控三维生成方向的技术突破，不仅是浙江大学 鲲鹏昇腾科教创新卓越中心在产学研协同创新方面的成功范例，更意味着智能三维内容创作正式迈入“低门槛、高效率、高质量”的全新时代。展望未来，随着Img2CAD系列模型的持续迭代升级，其将在工业设计、数字文创、AR/VR等众多领域释放巨大创造力，加速推动虚拟世界与现实世界的深度融合。

以上就是本文的全部内容了，是否有顺利帮助你解决问题？若是能给你带来学习上的帮助，请大家多多支持golang学习网！更多关于科技周边的相关知识，也可关注golang学习网公众号。