ABSTRACT

Basic support is provided for system operation and analysis by Data Center, which is used as an important infrastructure of Smart City. Data Center is related to network, system integration, information security, data base, data mining, etc. The quality of resource sharing and integration is influenced directly by construction effect of Data Center. The connotation and the composition of Data Center are researched, and according to the construction request of Data Center, a certain architecture of Smart City is put forward, and the content of data center is discussed, and the approach of construction idea is researched, and the application of data center for Smart City is discussed in this paper. Important suggestions can be provided for the later construction of data center of smart city.

Keywords:Smart City, Data Center, Data Integration, Data Warehouse

“智慧城市”数据中心建设研究

苏均生

中国煤炭地质总局，北京

收稿日期：2019年6月30日；录用日期：2019年7月10日；发布日期：2019年7月17日

摘 要

作为“智慧城市”重要组成，数据中心为系统运行、决策分析提供了基础数据支撑，涉及到网络、系统集成、信息安全、数据库、数据挖掘、标准规范等信息工程领域的各个方面，其建设效果将直接关系着数据共享、资源整合的质量。本文研究了数据中心的内涵、架构和组成，分析了数据中心建设需求，阐述了数据中心建设内容，研究了数据整合方法，提出了数据中心建设目标和建设思路，为开展“智慧城市”数据中心建设提供了重要的指导。

关键词 :智慧城市，数据中心，数据整合，数据仓库

Copyright © 2019 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY).

http://creativecommons.org/licenses/by/4.0/

1. 引言

随着计算机网络技术的不断发展和社会信息化程度的逐步提高，人们对数据的传输、存储、处理和管理的要求越来越高。特别是随着智慧城市建设的不断深入，政府及企业内部各部门建设了大量的业务系统，这些系统在业务应用和数据关联上缺少总体规划和设计协调，系统之间的数据共享和利用非常困难，系统运行过程中产生的数据关乎国计民生、企业存亡，这些数据得不到充分利用，无法满足综合业务管理、公众信息服务和政府决策分析的需要，而且一旦丢失将会造成巨大的经济损失，甚至是社会的动荡。目前，各国政府和大型企业都不惜投入巨资在数据中心建设上。这使得近年来国际数据中心市场发展迅猛，数据中心建设成为各个行业追逐的焦点。

“智慧城市”数据中心是智慧城市建设的重要组成，包括了智慧城市建设过程中产生的各类数据、数据交换软件、管理平台、中心数据库等各种软件资源及各类网络、存储、服务器等硬件设备，是一个相对庞大的概念，涉及的范围更广、应用领域大、数据更多。为深入推进智慧城市，促进城市的和谐、可持续成长，提升城市服务水平，需要制订科学的建设方法，设计合理的建设思路，以便更好地推进智慧城市数据中心建设实施。

2. “智慧城市”数据中心架构

2.1. “智慧城市”数据中心内涵

智慧城市是运用信息和通信技术手段感测、分析、整合城市运行核心系统的各项关键信息，从而对包括民生、环保、公共安全、城市服务、工商业活动在内的各种需求做出智能响应，实质是利用先进的信息技术，实现城市智慧式管理和运行，进而为城市中的人创造更美好的生活，促进城市的和谐、可持续成长。“智慧城市”把城市本身看成一个生态系统，城市中的市民、交通、能源、商业、通信、水资源构成了一个个的子系统，借助新一代的物联网、云计算、决策分析优化等信息技术，通过感知化、物联化、智能化的方式，将城市中的物理基础设施、信息基础设施、社会基础设施和商业基础设施连接起来，成为新一代的智慧化基础设施，使城市中各领域、各子系统之间的关系显现出来，就好像给城市装上了网络神经系统，使之成为可以指挥决策、实时反应、协调运作的“系统之系统”。

“智慧城市”数据中心(Data Center)是城市中各领域所产生的电子化数据的集合以及存储和应用这些数据的计算机及网络环境，其表现形式除了信息网络、服务器、存储设备以及相关的机房环境外，还包括数据库、数据仓库以及相关应用系统。数据中心是通过统一的数据定义和构架，以及集中的数据环境在不同的异构数据库中进行数据采集、分析和整合，从而实现数据共享和应用。

2.2. “智慧城市”数据中心特点分析

与普通的企业数据中心相比，“智慧城市”数据中心尽管也有软硬件组成，基于标准数据规范实现业务信息协同、数据统一管理、综合决策分析等功能需要，但是在数据规模、集成范围、应用领域等方面存在着差异。

· “智慧城市”数据中心管理的数据规模更大：“智慧城市”涉及的城市日常生活、运营管理的方方面面，每个领域都在不停的产生各类数据，很短时间内数据规模就能达到海量级，即数十到上百TB，需要应用虚拟化、云计算等技术进行实现，而普通的企业数据中心只涉及若干业务应用，数据规模比较小，决策分析、协同应用过程处理简单。

· “智慧城市”数据中心的集成范围更广：“智慧城市”数据中心不仅需要集成远程(上、下级)数据中心的相关数据，而且需要集成交通、物流、安全、医疗、教育等多个领域多个应用系统的数据，进行大量的、频繁的集成和协同，数据集成、应用集成、流程集成都有可能被应用，以保证数据管理、查询与分析的需要。

· “智慧城市”数据中心的应用领域更大：“智慧城市”不是为某个应用系统提供数据服务，而是为城市日常运营中涉及的多领域、多行业、多应用提供综合决策分析、数据管理与协同应用服务，它对数据存储、传输、使用及管理要求更高。

2.3. “智慧城市”数据中心逻辑架构

“智慧城市”数据中心的逻辑结构分为源数据层、数据采集层、数据存储层、数据应用层和数据展现层 [1] 。

· 源数据层：智慧城市相关各类业务系统的结构化、半结构化和非结构化数据库，以及保存的各种文件和非数字化的数据资源，将构成数据中心的数据来源。

· 数据采集层：通过数据接口对源数据进行采集与整理，而非数字化的数据资源将通过数据录入的方式进行采集，通过数据接口对业务系统的数据进行采集，实现原始数据的分离、清洗、转换等，加载到数据管理层的ODS数据库中，实现数据的整合与提炼。

· 数据存储层：根据源数据标准和资源目录将采集的各种中间数据按照统一的数据标准进行处理与整合，形成统一的信息资源，提供面向企业主题的数据存储与管理环境。

· 数据应用层：提供面向应用的业务处理数据支撑平台以及数据资源管理平台，实现对元数据的管理和数据编码的管理，并以ODS数据库为基础建立数据仓库，通过统一的数据共享接口对各个业务系统提供数据服务，使得各个业务系统都可以方便及时准确的提取到相关数据。

· 数据展现层：基于数据仓库开发数据查询、统计、分析等功能，通过统一的数据展现界面，进行统一用户管理和系统资源管理，实现业务数据标准化管理和高效灵活查询、统计和联机分析处理，为各级管理人员和社会公众提供统一、全面的数据支持。

3. “智慧城市”数据中心组成

“智慧城市”涉及交通、安全、医疗、教育等各个领域，而各个领域已经建立了适合行业特点的应用系统，这些系统的日常运行过程中产生了海量的数据，包括基础数据、主题数据及协同数据等，这些数据需要进行存储、交换、传输、分析和处理，以便更好的实现信息协同、决策分析和综合管理。“智慧城市”数据中心主要由硬件基础设施、数据交换平台、中心数据库系统、运行管理系统组成 [2] 。

3.1. 硬件基础设施

硬件基础设施包括机房局域网系统、服务器存储系统、负载均衡系统、备份系统 [3] ，是“智慧城市”数据中心建设的物理基础和基本前提。其中局域网系统是数据中心的基础平台，通过千兆链路连接服务器和存储设备，提供数据中心与城市各政府部门之间的连接以及数据中心与Internet的连接。存储系统采用IPSAN技术构建存储体系，存储快速、安全、稳定、可靠、扩展方便，采用集群技术提高应用服务器的效率，扩展性好。负载均衡系统包括服务器和互联网出口负载均衡，主要解决应用服务器高访问量的问题。

基础设施部分涉及的关键技术包括云计算、数据中心网络、容灾备份、绿色机房、运营管理、整合迁移、虚拟化技术等，其中云计算是一种提供动态、弹性的虚拟化资源的服务模式。虚拟化技术可以将资源抽象为共享资源池，实现操作系统与硬件解耦，操作系统从资源池中分配资源。容灾备份技术可提供应用级容灾、数据级容灾和介质级容灾服务。数据中心网络提供扁平化的二层架构，有利于简化网络结构，降低管理成本，提高网络性能，支撑云计算的资源池动态调整，保障各类数据应用业务的独立，支撑各业务的互访关系，确保业务的安全隔离。数据中心整合迁移技术按照理解需求、评估现状、规划设计、设计实施、整合搬迁、运行维护等流程进行整合，可提供绿色节能整合、数据整合、服务器/存储/云化整合、网络整合、应用整合、安全整合、运维管理整合等功能。

3.2. 数据交换平台

数据交换平台以面向服务体系结构(SOA)为框架，以服务总线技术(ESB)为基础，采取松散藕合方式构建，提供跨平台数据交换服务，对数据转换和传输过程实现集中统一控制和规范管理，保持各业务系统的独立性 [4] 。“智慧城市”数据中心建设过程中涉及数据交换平台由连接层、传输层、转换层、监控管理层组成。其中，连接层为异构系统提供丰富的连接器/适配器，在不改动其应用系统的前提下，按照一定的策略进行数据抽取并发布到信息总线。传输层负责在所有系统之间传输路由数据和消息，实现数据、服务命令的上传与下达。转换层负责将信息总线中获取的数据进行统一的数据处理，包括对异构数据进行转换、对数据的有效性进行检验和分析等。监控管理层提供强大的管理监控工具，实现交换和整合流程的调度管理、部署管理、配置管理及数据交换平台集中、远程、统一的监控管理。

数据交换平台部分涉及的关键技术包括数据采集技术、数据整合技术、数据服务技术等，数据采集技术是通过数据交换中间件提供的ETL采集、API接口、数据适配器等功能，将慧城市各相关业务系统中的各类源数据采集到中心数据库中。数据整合技术是对采集的数据进行转换、清洗等操作，将数据转换成不同的数据格式，最终按照预先定义好的数据仓库模型，将数据加载到中心数据库中去。数据服务技术是将各类数据分析模型、挖掘结果、共享资源等以服务的形式发布出来，支持进行数据交易、数据展现、数据调用、数据共享、数据识别、统计分析等应用。

3.3. 中心数据库

“智慧城市”数据中心的主题数据库、基础数据库、应用扩展数据库、数据仓库是不同应用层次的数据资源体系 [5] ，主题数据库包含所有业务系统的核心基础主题数据，这些数据是规范的、无冗余的、原始的基础数据，一般根据企业总体数据规划分析确定，同时依据企业数据模型建立企业的全局数据字典、业务数据编码等规范，统一数据“语言”，从而为数据资源共享提供了可能。

· ODS系统：ODS用于存放从业务系统直接抽取出来的数据，这些数据从数据结构、数据之间的逻辑关系上都与业务系统基本保持一致，这样在抽取过程中极大降低了数据转化的复杂性。对于一些不是永久性保留，且用户一段时间内又需要查询的明细数据，可以以主题的方式存放在ODS中，这样可以减轻数据仓库和数据集市的存储压力，也可以给用户提供快速的查询。ODS具有OLTP的特性，共享和实时性的数据可以放在ODS中实现。对于准实时段的数据可以常用消息机制，保持数据的准同步。

· 数据仓库：是针对企业数据整合和数据历史存储需求而组织的集中化、一体化的数据存储区域，它面向主题，并覆盖多个主题域，侧重于数据的存储和整合。数据仓库的概念模型是面向企业全局建立的，它为集成来自各个面向应用的数据库的数据提供了统一的概念视图。建立概念模型时不用考虑具体技术条件的限制，只需在较高的抽象层次上进行设计即可，而在建立逻辑模型时需要对概念模型进一步细化和深入，用星型模式或第三范式进行设计。同样，建立物理模型时，需要在逻辑模型基础上，结合具体的数据库，进一步确定数据的存储结构、索引策略、数据存放位置、存储分配等。

中心数据库涉及的关键技术包括数据存储技术、数据建模技术、数据分析技术等，其中数据存储技术是将数量巨大、难于收集、处理、分析的数据集持久化到计算机中。数据建模技术是对抽取到中心数据库中的数据进行再组织，建立面向数据分析逻辑的星型模型、雪花模型等。数据分析技术是对存储在数据仓库或非关系型数据库中的数据建立数据分析模型或进行数据挖掘，支撑实时分析、离散分析、OLAP分析、统计分析等应用。

3.4. 运行管理系统

数据中心的运行管理系统包括安全系统、运维系统等，安全系统的主要功能是保证数据中心网络和数据安全，由防火墙、入侵检测系统、审计系统、防病毒系统和有关安全管理规章制度组成，具有网络安全扫描、入侵测检、访问控制、安全审计、防IP盗用、隐患扫描、漏洞修补等功能。运维管理系统包括网络和服务器运行状况监控、设备管理、网络流量监控管理、Web业务管理及消防监控、温湿度监控、视频监控、门禁等，对数据中心网络运行状况进行监控。

运行管理系统涉及的关键技术包括多元异构设备数据采集技术、动态地图报警技术等，其中多元异构数据采集技术是采取多元化方法基于网络、主机、Syslog采集设备、SNMP Trap及文本数据采集，提升数据的兼容性和适用性，支持后续分析应用。动态地图报警技术是将报警事件与地图技术结合，地图监控动态地显示报警信息，便于管理员查看详细信息。

4. “智慧城市”数据中心建设方法

“智慧城市”建设过程中涉及海量异构数据，这对存储备份、安全管理提出了较高的要求，需要基于数据仓库通过存储及服务器的虚拟化、异构数据资源整合、数据交换等途径来实现，并保证数据与系统之间的相对独立性。

4.1. 资源虚拟化

虚拟化技术是通过提高服务器和存储等设备的使用率来减少设备使用量，通过将多种服务或功能集成起来，达到简化管理并隐藏后台复杂性的目的。在部署新的数据中心时，为达到最优化的存储效果，可采用软硬件结合的虚拟化方案。“智慧城市”数据中心主要使用存储虚拟化和服务器虚拟化技术来实现存储资源的合理配置，其中，存储虚拟化是把多个物理磁盘虚拟成一个逻辑存储设备，用户进行统一管理，对数据的存储位置和形式进行合理的分配；服务器虚拟化是把一台物理服务器虚拟成多个逻辑服务器，用户可以在每个逻辑服务器上部署不同的操作系统和应用，互相没有干扰。

4.2. 信息资源整合

数据中心的信息资源整合是利用先进的数据分析手段，把信息集中、有序地关联起来，集成检索系统，并且对数据进行灵活的多维度分析和多样式展示，为管理层提供数据的决策支持、联机分析和数据挖掘功能。由于“智慧城市”建设过程中涉及的应用系统及数据格式多种多样，因此信息资源的整合手段也多种多样，支持从数据内容、软件系统平台和基础设置等角度去制定整合策略。数据整合不是简单的抽取各业务系统的所有信息，而是要根据各方面的需要，有重点、有选择地整合业务数据，重点整合共用数据、管理决策所用数据、公众服务所需数据及最终结果信息，而无需关注各业务系统的过程信息。数据整合过程包括数据梳理、数据采集和校验、数据分析和转换、数据集成和存储。数据梳理主要理清各业务系统所涉及的业务流程及数据流，确定唯一数据源 [6] 。数据采集和校验是利用交换平台，对第一数据源的数据进行采集，进行完整性检验，并去除重复数据。数据分析和转换是按照业务逻辑和统一的数据标准进行格式转换。数据集成和存储是按照数据集成逻辑，对多源数据进行集成处理后存储到中心数据库。

4.3. 数据交换

数据交换是通过采用统一的数据交换标准使得各应用系统相互连接，实现“智慧城市”异构系统之间的数据交换和共享。数据中心作为一个数据交换平台，对用户屏蔽了应用系统的数据存储层和应用层，它能够跨数据库、操作平台甚至开发平台交换数据，数据处理过程的后台交互接口实现了数据的无缝交换和共享访问。原有应用系统不需要修改或重新开发，它们既可以通过数据中心来协调处理多种系统之间的业务数据，为上层应用提供综合数据服务，又能相对独立地运行、管理和维护。数据中心一般使用WebService、Xml技术和中间件技术等方式来实现统一的解析、转换、封装标准和完整的消息服务。

5. 数据中心建设思路

5.1. 建设目标

数据中心建设的目标是构建信息共享中心、控制中心，建立企业实时信息采集、共享、监控为一体的管控体系，实现信息的实时跟踪、统计分析、辅助决策分析等。通过为各类信息系统提供了一个安全可靠的硬件运行环境，有效的解决各类信息系统服务器运行环境参差不齐的状况，在全面输理应用系统及各类数据资源的基础上，对数据进行有效整合，建立统一的信息资源库，实现各类数据信息的全面共享，提高服务质量，满足内部和外部信息共享交换的需求，通过对数据分析和挖掘，为领导决策、综合业务管理、应急指挥和公众信息服务提供强有力的数据支持。

5.2. 建设思路

数据中心建设是个非常庞杂的系统工程，涉及软硬件等多项内容。首先，需要进行业务需求调研，了解智慧城市各行业发展现状及决策分析需求，梳理各种业务数据，并按信息标准设计数据中心，各系统中数据均分为私有数据(只在本部门内部使用)和共享数据(与其他系统数据存在关联)。其次，设计抽取转换工具，建立数据概念模型、逻辑模型和物理模型，区分数据存储方式及策略，将各系统中的数据通过抽取共享数据转换成统一标准数据格式集成入数据中心。再次，数据中心系统(数据统一管理平台)管理员对整个数据中心进行权限分配及数据管理。最后，由各系统根据所赋予不同权限从标准的数据中心提出所需数据，不同的需要可以使用同步更新或异步更新来实现，以及在数据中心做相应扩展开发。

5.3. 建设方案

“智慧城市”数据中心建设主要包括基础软硬件建设、业务数据采集、数据资源管理、数据集成服务、数据分析应用等内容。

· 基础软硬件环境：主要包括管理制度、标准规范(数据标准、交换标准、平台标准等)、基础软件环境、运行软件环境、硬件基础设施(网络、存储、服务器、交换机、感知设备等)、安全防护条件(物理安全、网络安全、数据安全、应用安全、平台安全)等，通过基础软硬件环境建设，为数据中心运行提供有效的支撑。

· 业务数据采集：基于数据交换平台开发数据采集适配器、ETL程序及其他采集接口，将结构化、非结构化数据采集到ODS数据库中。

· 数据资源管理：建立运维管理平台、大数据管理平台等其他软件平台，对主数据、业务数据等进行统一标识和编码，实现全生命周期管理，对数据管理过程中涉及的流程、质量、校验等进行监控，对数据管理过程中涉及的入侵检测、身份认证、数据加密、访问控制、安全审计等进行统一管理，确保数据应用过程的安全可靠。

· 数据集成服务：基于数据交换平台开发各类服务接口，将各类主数据、业务数据发布出去，支持智慧城市其他业务系统进行调用，提高数据资源共享力度。

· 分析应用：按照智慧城市决策分析需要对收集的数据进行汇总、聚合、清洗、建模、挖掘和分析，构建面向城市智慧应用的各类统计图表，或智能管控或调度其他设备进行响应，提高智慧决策水平和快速反应能力，提高城市管理水平。

6. 结论

本文基于“智慧城市”资源整合及数据支撑需求，研究了数据中心架构及组成，分析了数据中心建设方法和思路，为在智慧交通、智慧物流等领域进行数据中心建设进行了初步的研究，明确了技术途径和方法，并为后续进行数据中心建设提供了重要的参考。

文章引用

苏均生. “智慧城市”数据中心建设研究
The Research of Data Center Construction for Smart City[J]. 计算机科学与应用, 2019, 09(07): 1273-1279. https://doi.org/10.12677/CSA.2019.97143

参考文献