近日,騰訊雲在存儲領域的論文入選並行編程領域頂級會議PPOPP2025。通過設計面向小型對象的、感知訪問關聯性的內存緩存系統AC-Cache,成功解決小型對象存儲場景中的負載不均衡問題,實測顯示,該系統可降低80.2%尾部延遲並提升5倍以上訪問吞吐量。
據悉,作爲並行編程領域的國際頂級学术会议,PPoPP(Principles and Practice of ParallelProgramming)致力于推动理论基础、技术、语言、编译器、运行时系统、工具和实践等并发和并行系统领域的突破性研究,该会议持续聚焦两大前沿议题:优化并行编程生产力,强化异构硬件协同,同时解决超大规模科学计算与企业级负载衍生的新型并行工作负载挑战。
當前高速網絡技術持續升級,導致網絡帶寬與存儲帶寬性能代差不斷擴大,存儲訪問已成爲核心性能瓶頸。在此背景下,騰訊雲聯合廈門大學提出了AC-Cache,一個基于訪問關聯性構建的面向小型對象的內存高效緩存系統。
目前,AC-Cache 前沿技术已在在Github - nankeys/ACCache: ACCache PPoPP25上开源,并在腾讯云 GooseFS 产品中得以应用。
腾讯云数据加速器GooseFS(Data Lake Accelerator Goose File System)是搭建在对象存储COS之上的分布式缓存系统,它能够为上层计算应用提供统一的命名空间和访问协议,方便用户在不同的存储系统管理和流转数据。
GooseFS具备性能强劲、稳定易用、生态亲和的三大核心特点。具体而言,它能够基于分布式缓存架构,为用户提供近计算端的高性能数据访问能力,吞吐能力可达Tbps,延时达到亚毫秒级;此外,它还提供了全托管、Master托管、管控面托管三种部署方式供用户选择,集成云原生Prometheus监控体系,还能实时监测系统健康,简化运维流程,提升系统稳定性;更值得一提的是,GooseFS 深度集成了云原生与大数据技术栈,为企业提供开箱即用的数据加速能力,它支持TKECSI,通过CSI播件实现存储卷秒级自动扩缩容,能够满足突发业务负载需求,还支持 EMR集群挂载,并兼容Hadoop/Spark/Hive等组件零改造接入,更深度适配主流AI训练框架,支持与TensorFlow等AI计算框架无缝对接。
隨著GooseFS2025年的技術更新,其單鏈接性能更是達到了Gbps級別,最大化提升了硬件資源的利用效率;此外,還通過元數據分級管理技術,做到支持百萬級元數據QPS,能夠在高並發、大規模數據訪問場景下依然保持高效的元數據訪問性能;並進一步實現了元數據的一致性,確保COS與GooseFS之間的元數據能夠實時同步,做到無感緩存加速。
如今,传统的对象存储已经难以满足科技等行业对带宽、延迟和 QPS 等高性能计算要求,GooseFS能够加速海量数据分析、机器学习、人工智能等业务访问存储的性能,目前已成功应用在海量数据分析、AIGC、汽车辅助驾驶、具身智能等业务场景中。
在部署了GooseFS后,某手机厂商Deepseek模型分发单链接速度达到了300MBps,整体下载带宽达到200Gbps,较未部署前带宽提升了10倍,并在GPU节点提升1.5倍的情况下,分发时间缩短至原有的三分之一,大幅提升了分发效率;在汽车辅助驾驶方面,某汽车厂商通过部署GooseFS,并将其作为统一数据中台,配合Airflow 调度算法,进行数据预熱,加速训练预处理和自动驾驶训练业务,解决了数据孤岛问题,并进一步降低了本地盘成本,实现90%以上的数据命中率在Cache,整体训练速度提高了30%。
隨著GooseFS在更多行業中得以應用,AC-Cache研究成果將助力更多企業突破存儲訪問的性能瓶頸,邁向發展快車道。
(推廣)