快科技8月13日消息,據媒體報道,在2025金融AI推理應用落地與發展論壇上,華爲重磅發布了其AI推理創新技術UCM(推理記憶數據管理器)。這項技術被業內視爲有望重塑國內AI推理格局的關鍵突破。
UCM技术的核心在于其先进的KV Cache系统,通过融合多种缓存加速算法工具与精细的分级管理策略,高效处理推理过程中产生的大量记忆数据。這帶來了多重顯著優勢:有效擴大上下文窗口,確保推理過程的高吞吐量與低延遲,並顯著降低每個Token的推理成本。
尤爲關鍵的是,UCM技術有望緩解當前因HBM(高帶寬內存)資源短缺導致的任務停滯與響應延遲問題,爲AI應用提供更流暢的體驗,從而減少行業對HBM的過度依賴。
此次論壇不僅是UCM技術的首次亮相,華爲還宣布將攜手中國銀聯,共同發布雙方在AI推理領域的最新應用成果。論壇還邀請了來自信通院、清華大學、科大訊飛等機構的專家,分享他們在優化大模型推理速度及提升用戶體驗方面的前沿經驗。
華爲數據存儲産品線副總裁樊傑在演講中強調了高質量行業數據與高性能存儲對AI發展的重要性。他指出,未來的AI飛躍將極大依賴于此,高性能AI存儲系統能將數據加載時間從數小時壓縮至幾分鍾,同時使算力集群的效率實現倍增。
华为计划于2025年9月正式开源UCM技术,首发平台为魔擎社区。后续,华为将逐步将该技术贡献给業界主流的推理引擎社区,并向所有采用 共享一切”(Share Everything) 架构的存储厂商及生态伙伴开放共享。
(舉報)