11 月 4 日，第二届开放原子开源基金会OpenHarmony技术大会在北京圆满举办。在下午举办的OS原生智能分论坛中，华为昇思MindSpore总架构师金雪锋担任出品人，华为AI大模型应用开发平台架构师王磊担任主持人，与来自华为、中软国际有限公司、深圳市若芯科技有限公司等企业界技术领 袖和来自清华大学、上海交通大学等学术界专家学者分享了各自领域在OpenHarmony生态中结合AI大模型相关技术如何进行技术创新、突破技术难题，并共同探讨了未来AI大模型与终端操作系统相结合的技术发展趋势，为共建OpenHarmony繁荣生态贡献力量。

出品人:華爲昇思MindSpore總架構師金雪鋒

主持人:華爲AI大模型應用開發平台架構師王磊

首先，來自清華大學的助理研究員李元春就《大模型驅動的終端智能代理》課題進行了報告分享，介紹了一種大模型驅動的智能個人代理系統的設計與實現，分享了如何通過對移動應用的自動分析和大模型知識嵌入，將應用內部的領域知識與大模型的常識知識有機結合，實現更准確有效的任務自動化。李元春指出，智能個人代理一直是終端系統研究人員和開發者關注的關鍵技術之一，然而由于用戶意圖理解、任務規劃、工具使用等能力的不足，目前智能個人代理的智能程度和可擴展性仍有較大缺陷。大語言模型的出現則解決了這些難點，李元春表示:“以大語言模型爲代表的大模型的出現爲該領域的發展帶來了嶄新的機遇，有望通過強大的語義理解和常識推理能力大大提升智能個人代理支持功能的廣度和深度。”

清华大学助理研究员李元春主題分享

中軟國際有限公司智能物聯網軍團産品研發管理部總經理、OpenHarmony項目群技術指導委員會委員張兆生基于自身在大模型及端邊協同領域的深厚洞察，帶來了題爲《視覺大模型在OpenHarmony的端邊雲側應用》的報告。他指出，智能化時代，隨著大模型和算力底層技術的不斷完善，大模型部署在邊緣側與終端側成爲必然趨勢。他高度肯定了OpenHarmony擔當數字底座的價值與意義，“OpenHarmony作爲萬物互聯時代的技術底座，可以廣泛應用于多種算力場景，滿足了多聯接、高實時和海量異構數據的業務需求，起到了向下發揮硬件算力，向上使能海量應用的作用。”在張兆生看來，以OpenHarmony爲根基融合邊端大模型能力，構建端邊協同業務場景，可以爲行業提供更有競爭力的創新解決方案，加速拓展生態。

中软国际有限公司智能物联网军团产品研发管理部总经理、OpenHarmony项目群技术指导委员会委员张兆生主題分享

华为小艺架构师周剑辉基于华为小艺在终端产品的智能化服务技术思考，带来了《基于意图框架的端侧原生智能大模型生态建设探索》主題报告。这篇报告中提到，意图框架是系统级的意图标准体系，通过多维系统感知、大模型等能力构建全局意图范式，实现对用户显性与潜在意图的理解，并及时、准确地将用户需求传递给生态伙伴，匹配合时宜的服务，为用户提供多模态、个性化的进阶场景体验。

华为小艺架构师周剑辉主題分享

上海交通大学计算机科学与工程系副教授郑文立聚焦于机器学习方法，带来《端边云协同推理中的深度神经网络动态分割》的报告。在端边云环境下，为了匹配网络负载与服务器负载的动态变化，郑文立教授提出了基于机器学习的DNN分割优化算法，并将其实现在昇思MindSpore上，使之能在执行多种常见的CNN、RNN时自动调整它们跨端、边/云两侧的分布，从而保持最 低的推理延迟。同时，他还指出，“资源限制是边缘计算面临的主要挑战，设法突破资源限制才能最 大化边缘优势，使智能真正走进每个人的生活。”

上海交通大学计算机科学与工程系副教授郑文立主題分享

來自華爲諾亞方舟實驗室的研究員侯璐則在現場分享了《大語言模型的壓縮加速和有效部署》，這一報告從架構設計、成本、吞吐、時延、長序列等方面介紹大語言模型在推理階段面臨的內存、訪存和計算的挑戰，以及模型和KVcache量化壓縮、融合大算子和投機式推理在大語言模型有效推理帶來的收益。

华为诺亚方舟实验室研究员侯璐主題分享

深圳市若芯科技有限公司CTO周芃带来了《无处不在的智能:端侧类脑大模型的应用与解决方案》的演讲，面向参会者介绍了面对大语言模型的算力开销问题，以及如何采用类人脑处理信息的方式对Transformer架构进行改进。通过使用第三代神经网络SNN搭建神经网络，将网络中的数据使用脉冲序列进行存储和传输，在不影响网络智能程度的同时，极大地降低了推理开销。周芃表示，“使用该项技术训练的大模型，不仅做到同参数级别能耗、延时、算力要求最 优，也成功具备了在消费级设备本地部署运行的能力。

深圳市若芯科技有限公司CTO周芃主題分享

華爲昇思MindSpore架構師李政結合MindSpore框架技術探索及實踐經驗，分享了《MindSpore端側大模型部署助力OS智能化》的報告，講解如何解決AI大模型的部署與應用挑戰。李政提到，“生成式AI大模型正悄然改變人們工作和生活，AI大模型與智能終端相結合勢必引發新的體驗。然而受終端設備算力和存儲制約，AI大模型端側部署面臨諸多挑戰”。他在報告中介紹了MindSpore在大模型端側部署及推理加速已展開的探索和相關技術思路。作爲雲端邊全場景訓推一體開源AI框架，MindSpore深度參與HarmonyOSAI智能業務場景的性能優化，大量落地華爲手機、平板、手表、筆記本、智慧屏、智能車等終端産品。

华为昇思MindSpore架构师李政主題分享

在OS原生智能分论坛的最后环节，由论坛主持人华为AI大模型应用开发平台架构师王磊，出品人华为昇思MindSpore总架构师金雪锋及演讲嘉宾进行了主題为“端侧大模型及应用的技术前沿挑战及解决方案思路”的圆桌讨论，进一步深入探讨了OS原生智能下的AI应用架构和框架、模型训推框架、模型架构及算法方面的技术构想和思路。

“端側大模型及應用的技術前沿挑戰及解決方案思路”圓桌討論

至此，第二屆OpenHarmony技術大會OS原生智能分論壇圓滿落幕。各位技術專家與業界大咖的分享，展示了OpenHarmony在原生智能領域的技術潛力與應用實踐，也展望了AI大模型與操作終端深度結合後，必將帶來大模型擴展能力邊界、終端設備更加智能的“雙贏”前景。而隨著越來越多原生智能領域的技術專家和行業精英加入OpenHarmony社區，也必將推動OpenHarmony生態枝繁葉茂。期待更多夥伴加入OpenHarmony技術和生態共建中，攜手以“技術築生態，智聯贏未來”。

（推廣）