ABSTRACT

State Grid Corporation of China (SGCC) has been building electric cloud’s resource pool from 2010, and as the necessary part, storage-pool’s design and implement is the key step. In this paper, the storage requirements analysis of all kinds of host computer and business in storage-pool, and the design aim, design fundamentals are all clearly defined. On this basis, this paper proposed two-level and three-type schema of storage-pool. Storage and business requirements satisfied by each level and each type storage-pool are also explained in detail, and the monitoring model and management model in storage-pool are also declared. This schema of storage-pool can satisfy the storage-requirement, the design aim and design fundamentals. It also provides practical experience for other enterprises.

Keywords:Cloud Computer, Resource-Pool, Storage-Pool, The Schema of Storage-Pool

电力云资源池存储域的研究与实现

尚枫¹，张辉¹，杨宁¹，武毅¹，王国霞^2*

¹国家电网信息通信产业集团北京中电普华信息技术有限公司，北京

²北京科技大学自动化学院，北京

收稿日期：2017年9月10日；录用日期：2017年9月24日；发布日期：2017年9月27日

摘 要

国家电网公司从2010年开始建设电力云资源池，存储域作为资源池的必须部分，设计和实现存储域是资源池建设重要部分。首先明确存储域中各种主机和业务对存储的需求、存储域的设计目标和设计原则，提出了两级三类的存储域总体架构，并详细阐述了每类每级能满足的存储需求和业务需求，存储域中监控模块和管理模块的结构和功能也作了详尽说明。该存储域的架构设计不仅可以满足电力云资源池的各种存储需求，符合存储域的设计目标和设计原则，还可以给其他企业的存储域设计和实现提供可借鉴的蓝图。

关键词 :云计算，资源池，存储池，存储池总架构

Copyright © 2017 by authors and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY).

http://creativecommons.org/licenses/by/4.0/

1. 引言

资源池作为云计算技术在企业落地的新型应用方式，在金融业、运营商、高端制造业等行业的私有云中获得了应用 [1] [2] [3] [4] [5] ，电力企业作为国家的支柱性企业，自2010年开始筹建自己的电力云，资源池作为电力云建设的第一步，经过几年的建设-修正-再修正，目前已经形成了相对完备的设计和实施方案。

电力云资源池 [6] [7] [8] [9] 按照提出的六层模型进行筹建，六层模型中从外到内是包含与被包含的关系，如图1所示。根据电力云中资源池六层物理模型的组成情况，给出在一个数据中心资源池基础架构设计的全景图，如图2所示，由此可以看出一个资源池包含哪些要素以及哪些要素是如何组装在一起的。

从图2可以看出，数据存储和数据备份是资源池规划建设的必须部分，资源池中的存储域不仅提供数据存储和数据备份，它同时也是支持资源池迁移等功能的基础。同时，和服务器端的虚拟化技术相比，存储虚拟化技术较为薄弱，而且不同厂商的存储器差异较大，异构现象突出，资源池对存储的需求也是多种多样的，如何规划和实现满足要求的存储域也是一项重大课题。

本文结合电力云的情况，在分析了不同主机、不同的业务对各类存储的需求情况，提出了资源池存储域的设计目标和设计原则的基础上，还提出了二级三类的存储池架构，并对该架构种每类、每层存储池进行了详细的设计说明。本文提出的存储池架构不仅给电力企业云计算的研究和实施提供了实际的技术方案，也为其他企业的存储池建设提供了可借鉴的方案，甚至是云计算技术的发展和云计算在企业的顺利实施铺平了道路。

2. 资源池存储域的需求分析、设计目标及原则

2.1. 资源池存储域的需求分析

资源池存储域要将原来独立的只能独立纵向扩展的物理存储设备虚拟化统一管理，实现存储资源的逻辑虚拟化并集中使用和管理；虚拟化资源池常见的实现方式有通过虚拟化管理整合现有的物理存储

图1. 资源池六层模型

图2. 某数据中心资源池总架构

资源的存储池或者是基于分布式数据存储概念的分布式存储池。当然，存储池的建设要以满足电力企业业务需求为前提条件。

从图2可以看出，电力云资源池包括有X86虚拟机池、X86物理机池、小型机池，不同的资源池内的主机对存储的需求会有所不同；对电力企业而言，业务类型也林林总总，不同的主机承载不同的业务时，对存储和IO的要求也不尽相同，首先对资源池存储域的需求进行分析，如表1所示。

从存储的虚拟化需求来看，目前各网省公司已经采用了基于HP/HDS高端存储的存储虚拟化技术，技术原理是通过高端存储的前端端口模拟为服务器光纤端口，识别并接管外部存储数据卷后转换为虚拟化平台存储的内部数据卷格式，然后重新映射到现有服务器设备，实现外部存储的虚拟化接管过程。存储被虚拟化平台接管后，服务器端只识别到统一的虚拟化平台数据卷格式，并且服务器对于被虚拟化存储数据卷的访问通过虚拟化平台存储的数据缓存实现，虚拟化平台存储缓存会为IO访问提供读、写缓存功能，从而提高了数据访问性能。

表1. 资源池存储域的需求分析

在前期的国网容灾项目规划当中，存储虚拟化功能主要用于集中接管各网省非HP/HDS的高、中端存储资源，虚拟化管理其他存储资源后配合HP/HDS高端存储的远程异步复制技术以实现各网省到北京、上海两个数据中心的远程数据容灾构架。外部存储数据卷的虚拟化方式，根据规划采用了透传模式即不改变外部存储数据卷的格式内容，确保了数据安全并方便回退，且实施过程相对简单。

现有各网省的存储虚拟化方式主要目标是为了实现各个独立的物理存储资源的虚拟化集中，然后实现由网省到容灾中心的数据级容灾，目前，构架规划存在如下问题：

1) 没有实现存储资源集中共享，各应用项目存储资源仍独立使用，也就无法最大存储资源使用效率；

2) 目前的数据应用方式仍然采用透传模式，无法条带化方式使用，也就无法共享多台存储的访问性能和进一步优化数据存储效率；

3) 应用存储资源部署和使用方式相对粗放，没有进行精细的性能、可用性等的梳理，分配对应级别的存储资源；

4) 由于目前网省端到数据中心部署了异步数据容灾，因此数据卷的格式调整和变更需要容灾复制的变更操作。

2.2. 资源池存储域的设计目标和原则

通过上述的需求分析，电力云资源池存储域的设计目标主要有以下几个方面：

1) 提升当前国网生产运行环境当中存储空间的整体使用效率 [10] [11] ，实现提升整体的存储空间及性能利用率，减少存储资源浪费并降低存储设备投资成本；

2) 物理存储资源虚拟化后，使管理面向相对单一的操作界面，降低了存储管理难度和人员管理技能要求，减少了存储维护难度；便于存储空间资源的灵活分配，且底层存储资源的扩展及调整均不会对生产应用业务运行产生影响；

3) 存储池化管理后，可以按照应用业务需求的不同定义对应的服务级别，实现对应不同应用级别的存储池 [12] ，使用不同层级的存储池首先确保了应用能够得到所需服务级别的资源，又可以避免存储资源的不当分配及浪费，从而优化存储资源的部署；存储池内部可以进一步采用如精简供应、数据压缩、数据除重以及分级存储等技术进一步提升存储效率和访问性能；

4) 存储池化后，应用数据也随之集中，便于以应用业务群或其他方式为单位实现如本地高可用镜像、逻辑保护以及同城或异地灾备等功能，提供业务应用的业务连续性保护。

电力云资源池存储池域设计要基于以下两个基本原则：

1) 通过虚拟化管理平台设备整合现有的物理存储资源构架的存储池

在采用虚拟化平台方式进行现有的物理存储资源整合时，主要考虑以下几点：

a) 虚拟化平台整合过程应不影响数据及业务运行安全性，因此应用现有物理存储资源的虚拟化接管及优化方式都应考虑相应的数据备份及回退方案；

b) 接管后的存储访问性能应保持不变或有所提升，因此虚拟化平台设备自身的软、硬件资源配置应满足性能要求，如考虑对应处理能力的虚拟化平台的虚拟化处理器、数据缓存、数据访问端口等；

c) 存储池化并不是简单的物理存储资源大集中，物理存储资源本身应按照处理能力、可靠性、资源配置情况进行等级划分，同时对应于不同等级的应用需求划分合理数量、容量及处理能力的存储资源池；就国网现状来看，建议至少将高端存储及中端存储划分到不同的存储池当中，还可以考虑以应用群或可用性为边界进行进一步划分；

d) 存储池化的优点是便于集中管理和监控 [13] ，应为存储监控平台提供统一的管理接口，提供存储池配置、性能监控及告警等功能。

2) 基于分布式数据存储概念设计的分布式存储构建的存储池

a) 分布式存储构架部署时，应重点考虑部署应用的存储功能需求 [14] [15] ，如存储容量及扩展性、可靠性、业务连续性等要求；对于从原有传统存储构架迁移至分布式存储构架时，应考虑相应的数据备份及回退方案；

b) 分布式存储池应按照处理能力、可靠性、资源配置情况进行等级划分，对应于不同等级的应用需求划分合理容量、处理能力的存储资源池，可以考虑以应用群或可用性为边界进行划分；分布式存储池可以利用SSD或高速磁盘资源满足对于访问性能要求较高的业务应用；

c) 存储池化的优点是便于集中管理、和监控，应为存储监控平台提供统一的管理接口，提供存储池配置、性能监控及告警等功能。

3. 资源池存储域的总体架构

根据对电力云资源池存储域的需求分析、设计目标和原则，并且在各省市利旧设备较多，存储环境已基本定型的情况下，提出了二级三类存储池架构。

从存储池存储数据来看，业务数据可靠性要求高、规模较大、并发数高、数据类型复杂，需要高性能、高可靠性的存储资源，这也是各类物理机池或小型机虚拟池对存储的需求。非业务数据的存储需要中性能和低性能的存储资源即可满足，而中性能和低性能的存储资源也可满足X86虚拟化池虚拟化映像对存储资源的需求。所以对电力云资源池的存储域提出了二级存储结构。

一级存储包括用于支撑业务应用系统所需要的存储资源，主要为满足各类物理机池或小型机虚拟池对存储的需求，由于这些主机规模较大、并发数高、数据类型复杂，因此选用高端集中式存储。

二级存储包括用于支撑服务器虚拟化镜像文件所需要的存储资源，主要为满足X86虚拟化池虚拟映像对存储资源的需求，一般采用中高端存储设备来保证存储的性能和可靠性。

同时，根据存储是否虚拟化及存储数据的不同，存储池存储虚拟化池和分布式存储池两类资源池，存储虚拟化池根据存储资源的性能、可靠性，分为高端存储资源池和中端存储资源池，业务应用按照服务等级分类分别规划到不同的存储资源池当中，高端存储资源池主要用于高性能、高可靠需求的业务应用，中端存储资源池主要用于高性能、高可靠和中等性能、高可靠需求的应用；分布式存储池按照IO处理能力划分为高IO处理能力和普通IO处理能力，主要区别在于高IO处理能力的分布式存储集群采用具备更高的IO处理能力、闪存盘及高转速磁盘资源，主要用于高性能、中等可靠性和中等性能、中等可靠性需求的应用；普通IO处理能力的分布式存储集群则用于一般性能、中等可靠性的应用，如图3所示。综合可得电力云资源池的存储域的两级三类的存储池架构，即集中部署的一级存储，包含在最小交付单元中的二级存储和分布式存储，总体架构如图4所示。另外，可按照应用数据的负载特点、交易量、可靠性和业务连续性需求等对存储资源池进行规划，如表2所示。

图4中存储池监控管理模块 [16] 提供对存储虚拟化和分布式存储系统的综合监控和操作管理，分别由存储虚拟化设备提供SMI-S接口和分布式存储系统提供API接口进行存储设备的监控和管理功能，包含容量管理、性能管理、配置管理、故障管理、拓扑管理等功能。

存储监控管理的典型部署架构如图5所示。存储监控管理系统需要把存储阵列和光纤交换机的控制口接入网络，出于安全考虑，可建立专有的存储管理子网，存储监控管理所需的服务器放入存储管理域。其中两台作为数据库服务器，两台作为存储设备的接口机，存储监控管理系统通过核心交换机连接到业务网络。

图3. 资源池存储域总体框架

图4. 资源池存储池的存储结构

图5. 存储监控管理的典型部署架构

表2. 存储资源性能规划

存储池的管理模块主要负责存储虚拟化和分布式存储池的设备监控、配置管理、容量管理、性能管理、故障管理和拓扑管理等基础功能，对于分布式存储还应当具备集群管理、可用性管理等功能。

存储池管理总体架构如图6所示，存储池有存储虚拟化池和分布式存储组成，向上提供一级和二级存储，分别包含高性能和中性能，一共四种组合。

在存储的虚拟化中，由虚拟化设备(比如国网现有环境中的HP/HDS高端虚拟化存储)向下统一管理后端的中高端存储，向上提供存储虚拟化池，存储管理模块通过存储管理协议(SMI-S)对虚拟化存储池进行管理。

在分布式存储池中，由分布式存储系统向下管理X86存储服务器集群，部分存储设备挂在X86集群中提供存储空间；向上提供分布式存储池；分布式存储系统提供标准的存储管理协议(比如CDMI或者WebService)等访问接口，有存储管理模块进行管理。

存储管理模块整合存储虚拟化和分布式的存储接口，向云资源管理平台提供统一的存储池管理接口，该接口基于WebService协议。

4. 存储池应用举例

国网公司下属很多电力公司都建设了资源池和存储池，本文以上海电力公司存储池应用情况作简要说明。

上海电力公司存储虚拟化系统纳管1台联想VNX5100、1台宏杉MS3300、1台华为S5600的空闲资源后，形成统一的存储资源，并将业务系统数据迁移到存储虚拟化平台，原有主机仍旧通过FC网络访问整合后的存储资源。实施完成后具体情况如表3。

图6. 存储池管理模块架构

表3. 上海电力公司存储虚拟化实施完成后运行情况

上海电力公司存储虚拟化系统实现了现有联想VNX5100、宏杉MS3300、华为S5600等FC SAN存储的资源纳管，形成统一存储池资源，业务系统迁移到存储虚拟化系统后运行良好。系统提供了RESTful、RBD、FS等接口，实现了对象存储、FC SAN、IP SAN、NAS等存储服务的统一集成，满足业务系统对存储资源在线扩容、数据多副本保护、无缝迁移、性能加速、高可靠运行等方面的需求。

上海电力公司存储虚拟化系统建设完成后，存储资源利用率提升2.3倍、存储性能提升2.7倍、运维工作量降低2/3，存储资源池总体投入成本降低约20%，实现资源集约共享，取得较明显的经济效益和示范成果。

上海电力公司存储虚拟化系统构建了基础设施云平台的统一存储池，有效提升存储资源的整体利用率和可用性，提升上海电力公司云基础设施、数据、服务、应用等IT资源的一体化管理水平和管理效率，降低整体运维成本。上海电力公司存储虚拟化系统高效支撑国家电网公司调度控制类云、企业管理云与公共服务云建设，进一步提升信息储存、传输、集成、共享等服务水平，促进业务集成融合，提升用户体验；为公司的集约化发展、精益化管理、标准化建设提供强大动力，在持续提升公司信息化的管理能力和管理水平的同时，有力促进公司信息化管控水平再上新台阶。

5. 结论及展望

国家电网公司从2010年开始建设自有的资源池，在接下来的几年中对其不断地改进和提高，存储域是在2013年资源池建设的版本上经过提炼总结提出的全新总体建设思路，既是对前期工作的继承，也是重大突破，不仅对电力企业的电力云建设，还是对云计算技术的整体提高都提供了巨大的实践意义。

电力企业作为国家的支柱性产业，云计算机技术在电力企业的应用必定会给企业的发展及其在国际地位的确立带来极大的推动作用。就资源池建设本身而言，存储池管理系统的研究、如何进行应用入池等都是有待进一步研究和实践的领域，也是本文进一步研究的方向。

基金项目

北京工程实验室建设基金项目(京发改[2014]2400号)；国家电网实验室建设基金项目([2016]63号)。

文章引用

尚 枫,张 辉,杨 宁,武 毅,王国霞. 电力云资源池存储域的研究与实现
Study and Implement of Storage-Pool in Electric Cloud’s Resource Pool[J]. 计算机科学与应用, 2017, 07(09): 902-911. http://dx.doi.org/10.12677/CSA.2017.79103

参考文献 (References)