全球AI的优质盛会GTC于 3 月 17 日到 3 月 21 日在美国硅谷盛大举行。在GTC大會期間，華瑞指數雲ExponTech CTO曹羽中受邀參加了專注于AI Storage的技术研讨会并发表演讲。在演讲中，曹羽中介绍了ExponTech与合作伙伴ScaleFlux， AIC基于英伟达的BlueField3 DPU以及英伟达比较新发布的Spectrum-X网络打造的新型AI Storage方案，展示了该方案的实际测试数据，并与合作伙伴，AI Storage行业专家以及一些大型客户进行了深入讨论。与会的专家均表示该方案的实测性能数据以及综合优势表现远超预期，具备很高的商业价值，very impressive!
新型AI存儲方案采用的軟硬件方案：
硬件：
F2026 AI服务器，是一台2U闪存JBOF，配备 2 个或 4 个NVIDIA BlueField- 3 数据处理单元（DPU）和 24 块高性能ScaleFlux CSD5000 NVMe SSD（CSD5000 是ScaleFlux公司比较新推出的一款内置硬件压缩与解压缩能力的高性能NVMe SSD介质）；
NVIDIA Spectrum-X网络交换机；
軟件：
华瑞指数云ExponTech下一代分布式存储软件平台WADP (WiDE AI Data Platform)；
（本方案采用的2U存储节点及ScaleFlux CSD5000 NVMe SSD）
基于此方案的AI訓練和推理環境的實測部署架構如下圖：
1 台2U AIC JBOF作为存储服务器， 配备 4 块NVIDIA BlueField3 DPU， 提供1600Gbps网络带宽， 24 块ScaleFlux CSD5000 NVMe SSD，ExponTech WADP存储软件的后端运行于BlueField3 DPU内；
1 台标准2U服务器作为计算服务器，配备 4 块NVIDIA BlueField3 DPU，提供800Gbps网络带宽，在DPU内部运行ExponTech WADP存储软件的存储网关和协议；
計算服務器上可以配置GPU，用于訓練或推理，存儲軟件和網絡流量運行于DPU內，存儲IO不會消耗計算服務器的CPU和內存資源，計算服務器可以擁有更充沛的資源用于計算處理；
测试环境特别选择了 4 台NVIDIA Spectrum-X交换机组成两层网络，主要是为了模拟与验证在大规模组网的情况下，RoCE网络是否依然可以很好的处理拥塞，存储软件可以依然保持稳定的存储性能和低时延；
存儲服務器(JBOF)和計算服務器均可以按需獨立擴展，按需加入更多的存儲服務器(JBOF)或者計算服務器，構成大規模的，存算分離的，按需擴展的AI訓練和推理集群。
基礎存儲性能驗證：
基于上一節所述的實測部署環境，進行了存儲系統的基礎性能驗證，其驗證方法是從計算節點上運行FIO，測試存儲系統的基礎性能指標。
單個計算節點可以達到近90GB/s的存儲帶寬，接近計算節點網卡的物理帶寬上限；
单个计算节点可以达到 310 万IOPS，当配置更多的计算节点时，可以同步获得更多的IOPS。考虑到整个存储系统的后端以及协议端都是跑在DPU内，DPU内的CPU处理性能远远不如服务器配置的CPU，单个计算节点+单个存储节点即达到 310 万IOPS已经充分展现了本方案相当惊人的IO处理效率；
存储系统的IOPS与存储节点上部署的数据处理单元（DPU）数量呈线性比例扩展，系统的IOPS随DPU部署数量线性扩展，表明其具备较好的横向扩展能力。本方案采用的存储节点最多可以配置 8 张DPU（当前测试环境配置 4 张），还可以实现IOPS性能翻倍以及网络带宽翻倍；
存储系统在使用小IO size时，并发大压力时延低至266us， 在使用大IO size时，打满计算节点的网络物理带宽，时延还能始终保持在 1 毫秒以下。
MLPerf?Storage v1. 0 测试结果：
MLPerf? 是影响力最广的国际AI性能基准评测，MLPerf? Storage是针对AI Storage的基准性能测试，可以较为全面的评估测试AI应用程序的存储需求。MLPerf? Storage基准测试通过运行一个分布式训练测试程序，模拟GPU计算过程，在此过程中真实的执行AI服务器对存储系统的读写访问，以此来测试存储系统能够支撑的比较大GPU数量和带宽表现。
MLPerf Storage v1. 0 于 2024 年 8 月推出，国内外一共有十三家从事高性能存储研发的厂家参与了测试并提交正式测试结果，其中包括DDN(Lustre)，华为，WekaIO，Hammerspace等知名的分布式文件系统厂家。
本次我们选择了ResNet50 模型(主要用于图像分类和图像识别场景)，在上述 1 存储节点(JBOF)+ 1 计算节点的测试环境上进行了MLPerf Storage v1. 0 基准测试，测试的结果如下：
測試結果表明：
ExponTech的新型AI存储方案具备全球领先的性能，单客户端能够支持的GPU卡的数量超过了所有参与了MLPerf Storage v1. 0 正式测试的厂商，位居全球首先；单客户端能够实现的存储带宽达到近30GB/s，?位居全球第二；本次测试环境只有一个客户端节点(计算节点)，CPU和内存配置较低，在运行MLPerf Storage v1. 0 的测试中已经达到了客户端节点的计算能力的瓶颈，但是还远远没有达到存储节点的存储能力的瓶颈。如果换用处理能力更强的计算节点来做测试，可以测试出更高的性能数据，即支持更多的GPU卡，实现更高的存储带宽。
總結
基于本次在真实的环境上的全面测试，總結一下ExponTech与合作伙伴ScaleFlux， AIC基于英伟达的BlueField3 DPU以及英伟达比较新发布的Spectrum-X网络打造的新型AI Storage方案的关键特点和优势：
世界优质性能，SPC-1 评测超越所有高端全闪存储阵列，打破世界纪录，MLPerf Storage v1. 0 测试数据大幅度超越WekaIO， DDN等知名并行文件系统；
世界优质容量密度，当前每2U Storage Node可实现超过1.6PB存储裸容量，明年可扩展至每2U超过6.6PB，比较大化数据中心空间的AI数据价值；
配置的ScaleFlux CSD5000 NVMe SSD具有盘内透明压缩解压缩能力，能够在不消耗额外系统资源，不影响性能的情况下实现存储裸容量的数倍放大，存储容量效率获得惊人的提升；
同一平台上同时支持高性能分布式块存储和文件存储等多种协议，除了支持AI的训练和推理场景，还可以覆盖数据汇集，数据准备，RAG等AI Pipeline全场景，无须为AI Pipeline配置不同的存储方案以及反复进行数据拷贝移动，可以实现AI算力和存力的完全存算分离和独立扩展，具备更好的可管理性和效率；
強大的並行擴展性，存儲節點及計算節點均可以獨立的水平擴展，同時實現存儲性能和容量的等比例擴展；
可靠性高，可維護性高，存儲節點采用相比標准服務器更爲精簡的JBOF，硬件故障率更低，同時JBOF內部采用冗余的硬件設計來保障可靠性，提升可維護性；
支持基于RoCE的超大规模组网，采用RoCE动态路由和细粒度的负载均衡实现更好的拥塞控制，基于标准以太网在大规模RDMA组网中实现有效带宽， 低抖动和超低时延；
优化的总体拥有成本(TCO)，高密度的存储节点+透明盘内压缩+新型软件定义存储软件的组合简化了硬件成本，大幅度提升了存储空间利用效率和读写性能，简化了管理，AI客户将因此大幅度优化其AI Storage的总体拥有成本(TCO)；
基于此方案的KV Cache大规模持久化方案也即将推出，实现AI推理集群内的K，V向量的全局共享，能够以低成本高性能的大规模存储能力替代AI推理过程中K，V向量的大量重复运算，实现AI推理算力成本的大幅降低。
（推廣）