隨著人工智能技術的發展,機器學習應用場景越來越廣泛,從智能語音助手到自動駕駛,從智能推薦到圖像識別,都需要大量的計算資源來支持。而GPU作爲一種有效的計算資源,越來越受到關注,成爲機器學習加速計算的重要工具。然而,跨硬件通用加速缺乏跨平台跨硬件的通用API,不同顯卡實現有效算子十分困難和複雜。
作为头部科技企业,腾讯一直致力于推动人工智能技术的发展。因此,腾讯作为khronos会员积极参与新扩展标准制定,为机器学习加速计算提供更好的解决方案。在Vulkan ? 1.3. 255 版本中,腾讯联合ARM、NVIDIA、AMD、Google等诸多全世界科技企业一起带来新扩展VK_KHR_cooperative_matrix,这是腾讯首 次参与khronos标准贡献。
Vulkan是通用的、跨平台的、新一代圖形加速API,支持Windows、Linux、macOS、Android、iOS等多個操作系統。VK_KHR_cooperative_matrix擴展爲Vulkan帶來中尺度矩陣類型,用于加速矩陣計算,加速神經網絡推理。這一新擴展使得非單一硬件綁定的通用AI計算加速成爲可能,打破了行業壟斷,帶來了産業創新。Nvidia、ARM、AMD等顯卡廠商將發布新驅動支持這個擴展標准,這將進一步推動機器學習加速計算的發展。
在VK_KHR_cooperative_matrix擴展標准的制定中,騰訊優圖實驗室參與制定。在標准修訂過程中,騰訊優圖實驗室結合ncnn項目中的vulkan加速實踐經驗,主張新標准中的矩陣加載函數的stride參數允許爲0,以便支持自動廣播行爲。這一參數能有效提升神經網絡卷積和線性層計算中的bias數據處理效率。騰訊優圖實驗室專家,業界知名的開源神經網絡推理庫ncnn作者nihui表示:“khronos在線會議中,該提議獲得各參與廠商技術人員認可和贊同,並成爲硬性標准之一,要求在GPU驅動中實現該行爲。”
ncnn使用Vulkan API作为其跨平台GPU通用加速方案。ncnn通过使用VK_KHR_cooperative_matrix扩展,在AMD显卡上跑超分AI,速度提升约2. 3 倍。这也是VK_KHR_cooperative_matrix的首 次应用,已发布在ncnn新版本中,带来更广泛的跨硬件厂商GPU加速。
騰訊參與制定VK_KHR_cooperative_matrix擴展標准,推動人工智能技術的發展,讓機器學習的計算能力更加有效、普惠和可持續,爲機器學習加速計算提供了更好的解決方案,實現跨平台跨硬件的通用API,使得機器學習加速計算更加有效、靈活。
一直以来,腾讯也在积极参与各类AI、大模型等方面的标准建设。 2020 年,腾讯被选举为全国信标委人工智能分委会委员兼副秘书长单位,这意味着国家在推进包括人工智能在内的“新基建”过程中,腾讯正作为核心成员,承担更多标准制定工作以及技术引领作用。前不久,腾讯云还联合中国信通院发起行业大模型生态计划,并牵头国内首 个金融行业大模型标准制订,为金融行业智能化的高质量规范化发展提供重要支撑。
未來,騰訊將積極參與更多行業標准制定,助力更多行業提質增效,爲人類社會帶來更多的福祉。
(推廣)