全文概览材料由SNIA提供,强调了标准化管理接口对于满足不同场景和配置的关键作用。
从企业级应用到基于NVMe的架构,再到云计算环境,SNIA的标准促进了基础设施的建设和优化,支持从传统到前沿技术的应用。文中探讨了数据的位置管理、计算与数据的协同处理、扩展的存储网络技术以及面对人工智能等新技术带来的挑战时的管理难题。此外,还介探讨了如何通过合作发展管理标准,以应对日益复杂的技术栈和多供应商环境,包括Redfish、Swordfish、NVMe-MI和OpenFabrics Management Framework等。最后,提供了获取更多关于这些标准及其实施信息的渠道,强调了标准化在促进存储技术和管理实践互操作性中的重要性。
数据在哪?从云到边缘左图展示了以下两种场景:
Multi-Cloud(多云):本地(On-Premises)与多个公共云(AWS 和 Azure)通过单独连接进行通信。Intercloud(云间):本地与多个公共云通过云间通信方式互联。右图显示:随着终端设备数量、类型不断增加,数据的生产和加工流,将变得更加复杂。
图片探讨了数据存储和管理的两种方式:
集中管理:基于本地和公共云之间的多云或云间通信模型。边缘管理:利用边缘网络、5G 和云小节点,支持分布式计算和数据处理。数据原位处理技术左上:基于 xPU 数据处理方案,定制化的数据加速器(如GPU/NPU/TPU/DPU 等)将加速数据处理过程。
右上部分:Computational Storage Architecture(计算存储架构)
目标是 将计算能力靠近存储设备。系统结构包括:标准 CPU 通过控制器管理存储。计算功能集成到存储驱动(如 CSD,计算存储驱动器)中,减小延迟。提到 API 定义 的位置,用于协调计算和存储之间的交互。 左下部分:Data Accelerators(数据加速器)
展示了硬件架构,强调了:IOMMU:内存管理单元,支持虚拟化。DRAM:用于存储高速数据。VF/PF(虚拟功能/物理功能):为虚拟机和应用提供资源隔离。特性包括 可扩展性、并发性、标准化的硬件数据传输。 右下部分:Computational Storage / Computational Memory(计算存储/计算内存)
左图:传统的存储架构,数据处理在外部完成。右图:计算资源与内存/存储硬件紧密结合,从而提升效率。存储层网络技术的发展左侧部分:NVMe-oF (NVMe over Fabrics)
展示了 NVMe-oF 的通信层次: NVMe-oF NVMe-TCP Layer
主机侧 NVMe-TCP 传输层:通过 Send CMD 和 Receive RSP 等协议通信。
控制器侧 NVMe-TCP 传输层:处理响应和命令。
TCP Transport:利用典型的 TCP 网络栈(IP 网络、物理网络等)。
TCP Connection:实现主机和控制器之间的高效连接。
中间部分:Memory Pooling with Multiple Logical Devices (内存池与多逻辑设备)
介绍了基于 CXL 2.0 Switch 的内存池化:逻辑设备(H1、H2、H3、D1、D2 等):通过 CXL 交换机实现灵活的资源分配。Cache coherent disaggregation (缓存一致性解耦)包括内存、加速器和基于内存的存储设备。 右侧部分:管理存储织物技术
描述了存储织物的管理层架构: Clients(客户端层)
应用驱动的系统记录。
Management Layer(管理层)
包括资源监控、系统更新、事件和日志记录。
支持配置、认证和访问控制功能。
Hardware Layer(硬件层)
提到使用 Redfish 和其他原生 API 进行存储管理。
核心主题从专用织物扩展到共享织物。
管理异构织物(heterogeneous fabrics)。
同时管理 CXL 和存储。图片展示了存储层网络(Fabrics )技术的扩展趋势:
NVMe-oF通过高效传输协议支持主机与控制器的通信。CXL 2.0实现内存和加速器的缓存一致性解耦,提升资源共享效率。管理层整合通过统一架构管理异构硬件资源,推动从专用系统到共享环境的转变。管理层面临的挑战虚拟化和加速技术的增加提供了更多的灵活性和定制配置选项,但管理难度呈指数增长。工作负载管理和优化的复杂性不同的技术、设备和供应商需要不同的管理方法,有时甚至版本间也存在差异。异构设备和网络基础设施的管理每个组件都有自己的管理模型,管理员需要跨越多个管理标准。强调 DevOps 的重要性,用以取代传统的专用管理领域。多供应商和多技术环境的复杂性标准化管理变得至关重要,以便成功开发、集成、部署和大规模管理系统与存储。解决这一难题的关键在于统一管理模型的开发与实施。
不同标准管理的组织Developing Management Standards(开发管理标准):DMTF – DMTF Redfish®一种用于管理计算和存储资源的标准。SNIA – SNIA Swordfish®:存储管理标准。NVM Express – NVMe-MI®:管理 NVMe 设备的标准。Using Standards(使用标准):OFA – OpenFabrics Management Framework:开放式网络管理框架。SODA Foundation:基于服务的编排工具。Partner Groups Refining the Standards(完善标准的合作组织):包括 OCP(开放计算项目)、CXL Consortium(CXL联盟)、UCle 等。图片展示了在存储和计算管理领域,多个组织和标准的协同合作:
开发标准:DMTF、SNIA 和 NVM Express 等专注于具体领域的管理标准。使用标准:OFA 和 SODA Foundation 等组织利用这些标准。完善标准:OCP、CXL Consortium 等组织推动了标准的进一步优化。这些标准的协作为管理复杂和异构的 IT 基础设施提供了统一的方法和工具。
Redfish RESTful 资源映射图展示了 Redfish API 的层次结构:
服务根路径 提供了对任务、会话、账户等全局资源的访问。资源集合 包括系统、机箱和管理器的集合。单一资源实例 详细描述了系统、机箱和管理器的具体属性及关联资源。该图强调了 Redfish API 的模块化和分层设计,适用于现代 IT 基础架构的管理。
什么是 Redfish RESTful?
Redfish RESTful 是一种 标准化管理接口,用于通过 网络 管理服务器、存储设备、网络设备等 IT 基础设施。它基于常见的 HTTP 协议,通过发送和接收 JSON 格式的数据 来与设备交互。
你可以把它理解为一个专门设计的“遥控器”,帮助用户或自动化工具远程管理数据中心中的硬件资源。
在实际场景中的价值1. 简化管理传统 IT 管理可能需要登录每台设备的控制台来操作,或者使用复杂的命令行工具。Redfish 提供了一个 统一入口点,通过 Web API 就能实现:
查看设备状态。远程管理硬件资源。执行操作如固件更新或电源控制。2. 跨供应商的兼容性Redfish 是一个开放标准,不同厂商(如 Dell、HPE、Lenovo)的设备都支持它。用户不需要为不同品牌学习新的管理工具,而是用相同的方式管理所有设备。
3. 支持大规模自动化对于大型数据中心(如云服务提供商),管理成千上万台服务器是个挑战。通过 Redfish,管理员可以用脚本批量执行任务,例如:
查询所有设备的健康状况。批量重启特定组的服务器。自动配置新设备。4. 提高效率和安全性使用 HTTPS 进行通信,确保数据传输的安全性。支持基于角色的访问控制(RBAC),确保只有授权用户可以操作关键设备。Swordfish 扩展 Redfish 的价值增强存储管理功能:Swordfish 在 Redfish 基础上增加了对高级存储功能的支持,如 NVMe 驱动器和命名空间。通过统一接口,简化存储池、控制器、驱动器等资源的管理。标准化高级存储设备的管理:将复杂的 NVMe 存储系统(如命名空间和存储池)映射为直观的 RESTful 资源模型。提供了对存储设备的详细管理能力,包括性能分组、分区分配等。支持现代数据中心的需求:适用于高性能存储环境,支持大规模存储设备的自动化管理。提供更精细的管理视图和控制功能,满足企业级数据中心的复杂需求。开放与兼容性:作为开放标准,Swordfish 确保与不同厂商设备的兼容性,减少供应商锁定。基于 Redfish & Swordfish 来扩展 Fabric 管理Redfish 和 Swordfish 的扩展点Fabric 管理功能扩展:Redfish 提供基本的存储和网络管理接口。Swordfish 增强了对存储池、命名空间等高级存储功能的支持。多层次管理结构:集合资源(Collection)用于分组管理,例如存储池集合、交换机集合。单一实例(Singleton Resource)具体到某个资源,例如某个交换机或某个存储卷。网络和存储的融合:Fabric 资源(如交换机、端点、区域)和存储资源(如存储池、控制器)在一个框架内统一管理。实际应用场景数据中心基础设施管理:用于管理复杂的存储和网络架构(如 NVMe-oF 和以太网交换机)。支持存储和网络的分布式管理,提升效率。自动化管理与编排:通过 RESTful 接口,管理员可以使用脚本或工具实现自动化操作(如分配存储卷、配置交换机端口)。资源分区与隔离:支持逻辑分区(Zone)功能,将网络和存储资源划分为独立的组,提高安全性和灵活性。更多关于 Swordfish 和 Redfish 的标准信息。