快科技8月10日消息,據國內媒體報道,華爲將于8月12日在2025金融AI推理應用落地與發展論壇上,發布AI推理領域的突破性技術成果。
據透露,這項成果或能降低中國AI推理對HBM(高帶寬內存)技術的依賴,提升國內AI大模型推理性能,完善中國AI推理生態的關鍵部分。
HBM(High Bandwidth Memory,高带宽内存)是一种基于3D堆叠技术的先进DRAM解决方案,多层DRAM芯片垂直集成,显著提升数据传输效率。具有超高带宽与低延迟、高容量密度、高能效比等优势。
AI推理需頻繁調用海量模型參數(如千億級權重)和實時輸入數據。HBM的高帶寬和大容量允許GPU直接訪問完整模型,可避免傳統DDR內存因帶寬不足導致的算力閑置。對于千億參數以上的大模型,HBM可顯著提升響應速度。
當下,HBM已成爲高端AI芯片的標配,訓練側滲透率接近100%,推理側隨模型複雜化加速普及。
然而,其産能緊張和美國出口限制倒逼國內廠商探索Chiplet封裝、低參數模型優化等替代方案。
(舉報)