在虚拟现实、元宇宙技术快速发展的背景下，三维虚拟内容创作的高成本与低效率问题一直是行业痛点。近日，浙江大学计算机科学与技术学院博士研究生、魔芯科技陈天润带领团队，依托浙江大学 鲲鹏昇腾科教创新卓越中心提供的算力支持，实现了基于昇腾平台NPU的首个三维模型生成算法模型Img2CAD的开发。
该研究成果的核心突破之一在于破解了用生成模型得到脚本语言对三维结构的精准表达，让稀疏抽象的草图、图片等多模态输入能被通过Transformer结构高效 “翻译” 为三维几何信息，不需要可微渲染器，能够完整在NPU上实现训练和高效推理，无需大量Vector算力——并最终得到能被3D打印、CNC制造加工、数字世界展览展示的高精度3D模型，可直接导入现有CAD软件中进行编辑。其中昇腾加速套件MindSpeed提供了关键支撑，该工具支持多类型数据加载构建，可灵活适配多模态数据的异构特征，保障了视觉大模型与脚本语言表示模块的高效协同。
与此同时，通过算法模型结构的优化，团队实现了三维生成的即时交互建模。CANN算子库能充分发挥NPU 的并行计算能力和高效内存访问机制，能大幅减少计算延迟和通信开销，进一步提升模型推理速度，使系统能够快速响应用户输入的草图或图片，为实际落地场景中构建流畅的实时3D 交互建模体验提供了坚实的技术保障。
該項目開發的三維生成方法能夠用于3D數據資産的構建，並服務于KOKONI3D打印機等應用場景，爲數字制造、AR/VR相關産業提供了高效的內容創作解決方案。目前，項目已完成3篇成果論文，包括1篇中科院1區期刊論文和2篇CCF-A類會議論文，相關成果已在部分場景實現商業化落地，並將持續帶動昇騰的澎湃算力在三維數字化産業應用。
此次跨模态可控三维生成技术的突破，不仅是浙江大学 鲲鹏昇腾科教创新卓越中心在产学研融合上的一次成功实践，更标志着智能三維內容創作邁入“低門檻、高效率、高質量”的新階段。未來，隨著技術的持續叠代，Img2CAD相關模型將爲工業設計、數字文創、AR/VR等千行百業注入創意動能，推動虛擬與現實世界的融合邊界不斷拓展。
（推廣）