Software Engineering and Applications
Vol.06 No.04(2017), Article ID:21868,10 pages
10.12677/SEA.2017.64010

The Design and Implementation of Integrating Multi-Source Data in Disaster Monitoring and Assessment

Jingfeng Du*, Hua Wei#

School of Resources Environmental Science and Engineering Land and Water Resources Research Center of the Middle Yangtze River, Hubei University of Science and Technology, Xianning Hubei

Received: Aug. 10th, 2017; accepted: Aug. 24th, 2017; published: Aug. 30th, 2017

ABSTRACT

With the arrival of Big Data era and rapid development of data mining, the data that people face is becoming more and more complex, and showing significant differences among the data format, storage structure and distribution mode, which has brought great inconvenience for multi-source data sharing and application. At present, this phenomenon is very obvious in disaster monitoring and assessment of business performance. Under this background, this paper analyzed the current situation of application in all kinds of data distribution system and the shortage of the existing data application way combined with disaster mitigation center “disaster monitoring and evaluation of business platform construction” project, discussed the disaster monitoring and assessing the integrated application of multi-source data of business solution, presented multi-source data comprehensive application solutions based on the map and data inline relationship, i.e., according to the map for multiple source data information carrier, realized the comprehensive application of multi-source data through the inherent links between the data, and on the basis of the design and implement the “earthquake comprehensive query” module, further demonstrates that the integrated application of multi-source data presented by this paper is feasible and rational. In the end, the paper summarized the research work done in this paper, and discussed the contents of further research.

Keywords:The Map, Data Inline Relations, Multi-Source Data, Seismic Synthetic Query

灾害监测与评估中多源数据综合应用 的设计与实现

杜井峰*,魏华#

湖北科技学院资源环境科学与工程学院,长江中游水土资源研究中心,湖北 咸宁

收稿日期:2017年8月10日;录用日期:2017年8月24日;发布日期:2017年8月30日

摘 要

随着“大数据”时代的来临以及数据挖掘技术的快速发展,人们面对的数据也越来越复杂,这些数据在数据格式、存储结构和分发方式等方面都存在较大差异,给多源数据的共享和应用带来了极大的不便,目前这种现象在灾害监测与评估业务中表现得极为明显。本论文在此背景下结合减灾中心“灾害监测与评估业务平台建设”项目,分析了系统内各类数据分发应用的现状和现有数据应用方式的不足,探讨了灾害监测与评估业务中多源数据综合应用的解决思路,提出了基于地图和数据内联关系的多源数据综合应用方案,即以地图为多源数据的信息载体,通过数据间的固有联系,实现多源数据的综合应用,并据此设计和实现了“地震综合查询”模块,进一步论证了本文提出的多源数据综合应用的可行性和合理性。论文的最后对本文所作的研究工作进行了总结,并对进一步的研究内容进行了展望。

关键词 :地图,数据内联关系,多源数据,地震综合查询

Copyright © 2017 by authors and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY).

http://creativecommons.org/licenses/by/4.0/

1. 引言

随着“大数据”时代的来临,计算机技术、空间技术和现代信息基础设施的飞速发展,各种测绘技术的实用化和获取空间信息途径的多样化 [1] ,人们面对的数据也越来越复杂,除了数据量越加庞大以外,数据种类也更加繁杂多样,这些数据在空间表达上具有多源性,在数据格式、存储结构和分发方式等方面都存在较大差异,给多源数据的共享和应用带来了极大的不便,这种现象在灾害监测与评估业务中表现的极为明显。

中国是世界上自然灾害最为严重的国家之一,进入21世纪以来,平均每年因各类自然灾害造成约4亿人(次)受灾,倒塌房屋约220万间,紧急转移安置超过1000万人,直接经济损失3400余亿元 [2] 。在全球气候变化背景下,我国自然灾害风险进一步加大,防灾减灾工作形势严峻 [3] ,灾害监测与评估业务压力巨大。为此,民政部国家减灾中心每年都会投入部分资金用于建设灾害监测与评估的业务数据支撑平台,建设优化国家综合减灾数据资源库,致力于为政府、行业和社会公众提供减灾数据服务。通过前几期的项目建设,基于SOA架构的综合减灾数据库软件系统框架已基本形成,在统一的元数据标准下,支持遥感影像类、基础地理信息类、文档类、表格类等多类别数据的存储、管理等,具备权限管理、在线归档、交换数据监控等功能,并提供图形化、列表化、基于地图的专题展示等多种展示方式对数据进行多角度展示 [4] 。此外,各业务部门也建立了多个规模不等的数据库。目前,数据库已开始为灾害监测、灾情分析、灾害评估等业务提供支撑。

灾害监测与评估业务需要大量数据支持,包括致灾因子数据、承灾体数据、灾情产品数据等各大类共一百多种数据 [5] ,数据来源广泛、格式多样、种类繁杂,整体的数据展示方式是以数据集为基础的单一数据展示方案,导致数据展示模块繁杂、数据关系零散和数据使用不便等问题,极大地增加综合数据库的使用困难程度。如何将这些数据在同一web界面上集中展示,并使数据间的逻辑结构清晰,各类数据可展示、可查询、可下载,保证灾害监测和评估业务及时有效的开展,成为一个亟待解决的问题。

在过去的灾害监测与评估系统中,由于数据类型的不同,每类数据的展示方式均不相同,而且在同一类型数据甚至同一数据集中,数据均是单独对外发布,数据与数据之间毫无关联,这只能说是数据展示,远远谈不上是数据应用。目前在实际业务应用中,发现此种数据发布方式存在一系列问题:1) 数据散乱,使用困难,部分数据难以查询。系统中存储着人口房屋、经济、工业、农业、水利和灾情等等各种各样的数据,数据量大且杂。虽然系统提供基本的资源目录分类入口,但是在100多大类数据集中快速找到所需数据将较为困难,例如,在寻找大江大河水情数据时,由于此类数据为一个单独的数据集分类,寻找数据还较为方便,但在寻找全国铁路矢量图时,由于其分类处于1:100万DLG数据集下,若不是对整个系统数据分类体系较为了解,将很难查到此类数据;2) 查询入口单一,多类数据查询时,较为不便。在实际业务中,若需要关于某一次地震的相关数据,包括地震信息、灾情信息、当地经济、人口、房屋信息、当时的天气情况、附近是否有大型水库等等数据时,业务人员需要多次从资源目录进入相应数据集查询下载,费时费力,使用极其不便;3) 数据使用未与实际业务结合。从数据库中获取的数据较为基础,使用时还需业务人员根据实际情况设置查询条件,下载后还需业务人员自行处理分析,降低了工作效率。

尽管在多源数据的综合应用上,国内外已经有不少学者和机构从不同方面阐述了相应的理论、设计相应的系统,但是多为多源数据的存储和管理 [6] [7] ,部分探讨了多源数据的格式转换问题 [8] ,也有部分研究了多源数据在业务系统中的综合利用问题 [9] ,在多源数据的分发服务问题上,却较少有人阐述。而且对多源数据的研究多集中在地理信息类数据之中,文档类、统计资料、影音资料等非地理信息类数据的研究利用也较为少见。

从这一实际背景出发,本文在深入分析业务需求的基础上,充分利用WebGIS受众广、发布快速、信息表达能力强等特点 [10] ,以地图为多源数据的信息载体,通过分析数据间的固有联系,使用“基于地图和数据内联关系的多源数据综合应用方案”,将零散多类的数据集合起来,统一多种数据的查询入口,实现灾害监测与评估业务中多源数据的综合应用。

本论文结合减灾中心“灾害监测与评估业务平台建设”项目,分析了系统内各类数据分发应用的现状和现有数据应用方式的不足,探讨了灾害监测与评估业务中多源数据综合应用的思路,提出了基于地图和数据内联关系的多源数据综合应用方案,即以地图为多源数据的信息载体,通过数据间的固有联系,实现多源数据的综合应用,并据此设计和实现了“地震综合查询”模块。

2. 多源数据概述

近年来,随着“大数据”时代的发展,多源数据的综合应用已有了长足的进步。多源数据从采集、处理、存储、管理到分发服务,各个环节的技术也越来越成熟。

在数据采集阶段,数据来源广泛,数据采集方式多样,数据采集精度也越来越高。上世纪八十年代,由于核心元器件由于核心元器件受制于国外,我国遥感卫星定位精度长期停留在300米左右,经过近四十年的努力,我国光学卫星遥感影像的定位精度逐步提高到0.5米甚至亚米级水平,从数百公里的高空可以清晰获取地面数据。在如今,卫星越加智能,比如当地面灾害发生时,卫星可以在天上一边成像、一边找目标、一边自我校正,在一分钟之内把准确图像传到地面。

在数据处理阶段,较多论文都探讨了多源数据在实际业务中的处理转换,比如数据坐标、投影的变换,数据格式的相互转化等等,比如在“土地调查中多源数据的综合应用研究”一文中,作者在同一的技术标准下,在同一GIS软件平台的支持下,将多种来源不同的资料数据进行处理,使之成为有用的数据,最大限度的提高数据采集的效率 [11] 。多源数据的处理是一项庞大繁杂的工作,应对每一类型的数据都要结合实际业务和数据特点,选择合适的数据处理方式。

在数据的存储阶段,面对多源数据的复杂性,存储方式和技术手段更加多样。结合地理信息数据管理和服务要求,现今的多源数据库一般采用混合数据库管理模式,矢量数据库采用Oracle spatial存储,针对海量文件型的空间数据,以Oracle二维表 + 文件编目进行存储管理,实体文件以非结构化形式分布式存储在不同的磁盘上,通过规范化的编目,实现多源数据统一管理、展示、应用 [12] 。

在数据的管理阶段,多采用“基于数据模型驱动的数据库规划与整合建库技术”和“基于资源目录的数据集成管理技术”。基于数据模型驱动的数据库规划与整合建库技术:多源数据种类、来源、存储形态上纷繁复杂,而且体量较大,采用单一的数据结构难以准确完整地对多源数据进行存储和管理 [13] 。各类项目一般采用基于数据建模技术,实现多源数据的模型构建,完成库体的快速搭建,并采用插件技术,实现数据信息的自动采集与入库。基于资源目录的数据集成管理技术:基于多源数据的复杂现状,建立一套数据资源分类与整理规范,梳理出各类数据资源的核心及扩展元数据项,制定不同数据库中的资源标识URL规则,提供不同建库数据和外部数据资源在资源目录注册库的元数据信息注册,实现基于资源目录的多源数据资源的统一管理,提供统一的视图进行查询与展示 [14] 。

在数据分发服务阶段,B/S模式以发布快、受众广、成本低等优点 [15] ,逐渐成为多源数据分发服务的主要方式,但其分发方式多为单一数据展示方式,即对每类数据都因数据结构和存储方式的不同,采用了不同的分发服务方案,数据展示模块繁杂、数据关系零散和数据使用不便,极大的增加了多源数据的使用困难程度。

相比于传统的单一数据展示方式,根据“基于地图和数据内联关系的多源数据综合应用方案”设计的数据应用方式具有较大优势:

1) 数据逻辑结构清晰,系统易用性强;

2) 数据以地图为表达载体,可视化能力强;

3) 数据以模块为单位组织,具有较强的可扩展能力;

4) 数据已通过关联关系在同一界面展示,用户不需查询即可获取数据,极大地简化了用户的使用困难程度。

3. 多源数据类型分析

减灾数据资源库的多源性表现为海量数据来源的多样性,如水文监测、卫星影像、农业种植调查、历史资料数字化、地震监测或遥感影像数据获取等;减灾数据采集方法的不同和数据管理系统设计的差异,导致数据的存储格式、表达方式不同 [16] 。根据数据类型划分,系统内数据共可分为五大类:遥感影像类、基础地理信息类、文档类、统计表单类和图片影音类,针对每类数据都有相对应的数据展示方式。

3.1. 遥感影像类

遥感影像类数据主要是高分系列数据和环境系列数据,也包括其他国内外卫星遥感数据和部分航空遥感数据。下图所示为影像查询展示界面和影像查询结果界面,与常规影像查询展示方式基本一致,支持自定义查询、行政区划查询和POI点查询等多种查询方式。

3.2. 基础地理信息类

基础地理信息类数据种类较多,包括DEM数据、乡镇边界和点位数据、DLG数据(1:10万、1:25万、1:100万、1:400万、1:1000万、1:2000万)、各类城市专题数据和农业种植专题数据等等,除了以二维表形式展示数据基本元数据信息外,通过ArcGIS for Server以WMS、WMTS、WFS、WPS等服务类型,对外发布地图服务。

3.3. 文档类

文档类数据主要是Excel、Word、PPT和PDF这些基础文档类数据,例如昨日灾情、灾情年报、灾情月报、救灾快报、灾情手机报、灾害评估专报、灾情遥感监测、查灾报告和每日灾情专报等灾情产品数据,中心简报、中心大事记、管理制度、部委资料、减灾论坛、会议报告、学术论文、工作组报告、出访报告、防灾减灾标准和其他相关标准等政务资料数据,还包括1949年以来的各类民政部和内务部档案资料。

对于此类数据,不仅通过二维表形式展示数据基本元数据信息,还对原始数据进行处理,提取JPG和SWF数据,提供在线预览功能。下图为数据基本元数据信息查询展示界面和文档数据在线预览功能展示界面,其他类型数据的基本元数据信息查询展示方案基本类似。

3.4. 统计表单类

统计表单类数据包括第六次人口普查下的县级和乡镇级的人口房屋数据,规模企业数量数据、企业固定资产投资数据等工业数据,建国以来的地震、台风统计信息及其相关灾情数据,2012年至2015年中国县(市)社会经济统计年鉴数据,还有全国大江大河和大型水库水情数据等等。

这些数据都是以标准的元数据建模后以二维表的形式存储于oracle数据库,对外发布方式类似于其他数据的元数据信息展示方式,支持有选择性的在线下载。

3.5. 图片影音类

图片影音类数据包括灾害现场照片数据、气象监测和气象实时数据和1949年以来的民政部和内务部各类影音档案资料。数据以二维表形式显示基本元数据信息,同时可在线查看图片信息。

4. 多源数据的综合应用设计

4.1. 基于地图和数据内联关系的多源数据综合应用方案

国家综合减灾数据资源库中存储的数据既有原始的灾情数据又有深加工的灾情产品数据,同时还有各类基础承灾体、致灾因子数据等,这些数据之间必然存在某种程度的关联关系。例如,一次台风灾害的发生,从初报到续报再到核报,必然对应着相应的灾情数据,包括省市县乡村各级灾情报告、查灾报告、工作组报告等等;除了对应的灾情数据外,当时当地的人口房屋经济数据和当地的历史灾情数据对灾情评估业务也具有重要的参考价值,而且必不可少;当时当地的气象情况、当地的大江大河和大型水库的水情数据,对预估灾情走势和灾害救援工作来说也是重要的参考数据。如此多的数据都可以通过时间和地点串联起来,形成一个整体,当用户想要某一数据时正好发现需要的数据就在眼前,再也不用四处寻找数据、分析数据和处理数据,随想即得。

如此多的数据串联起来将会对数据展示的清晰性、逻辑性和易用性提出较大的需求压力,如何在一个界面上合理的展示多类数据将成为急需解决的问题。而地图绝对是解决此类问题的不二法宝,系统内的数据关联多基于行政区划属性,地图的信息承载能力又强,所以论文将地图作为信息载体和数据对外服务方式(图1)。

4.2. 基于行政区划变更模型的数据快速更新机制

行政区划信息快速更新(见图2)是“基于地图和数据内联关系的多源数据综合应用方案”顺利实施的前提,及时而准确的行政区划属性是多种数据的关系所在,为应对逐年变化的行政区划信息,一套行政

Figure 1. The technology roadmap of multi-source data comprehensive application solutions based on the map and data

图1. 基于地图和数据内联关系的多源数据综合应用方案技术路线

Figure 2. The technology roadmap of quickly updated administrative information

图2. 行政区划信息快速更新技术路线

区划信息的快速更新机制将必不可少。

因此,设计了一种行政区划变更模型,用于维护和管理行政区划变更信息,同时能够实现区划变更关系的回溯。通过行政区划变更信息对基础支撑数据进行自动化批量更新。

如“行政区划信息快速更新技术路线”图所示,每年的行政区划信息发布以后,由业务人员整理出相比于去年的行政区划变更信息表,然后在需要变更行政区划信息的数据集里添加“****年行政区划名称”、“****年行政区划代码”和“****年行政区划备注”三个字段,根据行政区划变更信息表,在新的字段中填上更新的行政区划数据,形成当年的行政区划数据 [17] 。

依据行政区划信息快速更新技术路线,系统对应开发了行政区划变更维护工具用于行政区划信息的快速变更,确保行政区划信息的及时性和准确性(见图3)。

Figure 3. Administrative divisions change information maintenance

图3. 行政区划变更信息维护

4.3. 地震灾情数据挂接工具

以“地震综合查询模块”为例,实现“基于地图和数据内联关系的多源数据综合应用方案”,在地震综合查询模块中,有一个“报灾数据”的子模块,由于同一时间可能发生多次灾情、同一地点也可能发生多次灾害,地震目录数据无法与地震灾情数据通过时空关系进行关联,所以系统对应开发了地震灾情数据挂接工具,让业务人员判断两类数据的对应关系并手动建立联系 [18] 。

工具分为四部分,地震目录列表、地震灾情列表、地图参考和已挂接区域,地震目录数据和地震灾情数据支持“一对一”和“一对多”的关联挂接,地图区域提供位置参考,已挂接区域可查询历史挂接,也可解除挂接关系(见图4)。

5. 多源数据综合应用的实现

5.1. 地震综合查询方案概述

为实现“基于地图和数据内联关系的多源数据综合应用方案”,论文选取灾害监测与评估业务中较为常用的地震数据,设计了“地震综合查询”模块,为地震监测和评估业务提供基础支撑平台 [19] 。深入分析地震监测与评估业务流程和系统内数据整体情况后,论文以业务中常用的地震基本信息、应急响应数据、人口房屋经济等基础数据、关联地震数据、灾情影像数据、江河水位数据、气象数据和报灾数据共8类数据为基础,使用Axure工具创作了“地震综合查询”模块的界面原型。其地震综合查询主界面如图5所示。

5.2. 地震综合查询方案展示

下图是地震综合查询主界面(见图5),出于灾害监测业务的需要,其中红色闪烁的点代表国内近期发

Figure 4. Earthquake disaster data articulated tool interface

图4. 地震灾情数据挂接工具界面

Figure 5. The main interface of seismic synthetic query

图5. 地震综合查询主界面

生的地震(红点大小表示震级大小),若需查询历史地震数据,点击搜索框进行查询。地震数据与国家地震局台网关联,保证数据的及时性。

为保证界面的简洁和美观,查询模块和地震基本信息模块在主界面隐藏,单击查询框和红点标识时

Figure 6. Earthquake comprehensive query module details display interface by default

图6. 地震综合查询模块详情展示默认界面

显示。查询方案包括时间查询、经纬度查询、震级查询和行政区划查询,地震基本信息显示了地震发生地点、震级、深度和地震发生时间。

双击红点标识或单击地震基本信息旁的详情按钮进入下级综合信息界面,即地震综合查询模块详情(见图6)展示默认界面,默认显示基础数据。

在详情模块中,共展示了地震基本信息、应急响应数据、基础数据、关联地震、灾情影像、江河水位、气象数据和报灾数据共8类数据。

6. 结论

本文根据“基于地图和数据内联关系的多源数据综合应用方案”,以地图为多源数据的信息载体,通过数据间的固有联系,实现了多源数据在服务分发时的综合应用,提高了灾害监测评估平台对外服务发布能力、数据获取效率和数据的可视化能力,极大地增强了平台的易用性,为灾害监测与评估业务提供了及时有效的数据支撑能力。同时,也为其他多源数据的综合应用提供了思路。根据“地震综合查询”模块,可为台风、灾情等业务中常用的数据设计同样的查询模块,如“台风综合查询”、“灾情综合查询”等,从而形成完整的体系,为灾害监测与评估提供完整的数据支持平台。

灾害监测与评估中多源数据内容丰富,多源数据之间的关联部分需要人工进行关联,不仅费时费力,在数据量较大时,人工关联将会较为困难。随着人工智能的快速发展,能否借鉴相关技术来增加数据自动关联能力以及很多数据的处理应用还有待进一步研究。

基金项目

湖北科技学院博士启动基金项目资助(项目编号:BK1411)。

文章引用

杜井峰,魏 华. 灾害监测与评估中多源数据综合应用的设计与实现
The Design and Implementation of Integrating Multi-Source Data in Disaster Monitoring and Assessment[J]. 软件工程与应用, 2017, 06(04): 92-101. http://dx.doi.org/10.12677/SEA.2017.64010

参考文献 (References)

  1. 1. 赵斌. 导航地理数据生产系统及其关键技术研究[D]: [硕士学位论文]. 郑州: 解放军信息工程大学, 2006.

  2. 2. 范一大, 吴玮, 王薇, 刘明, 温奇. 中国灾害遥感研究进展[J]. 遥感学报, 2016, 20(5): 1170-1184.

  3. 3. 吴勇刚. 灾害应急运作管理中的牛鞭效应与社会属性目标函数研究[D]: [硕士学位论文]. 合肥: 中国科学技术大学, 2015.

  4. 4. 邓岚. 我国自然灾害档案管理现状与对策[J]. 档案与建设, 2015(6): 17-20.

  5. 5. 袁艺. 《民政部关于加强自然灾害救助评估工作的指导意见》系列解读之六[J]. 中国减灾, 2013(13): 32-35.

  6. 6. 陈蓓青, 黄俊. 涉水地质灾害多源数据管理与应用探讨[J]. 人民长江, 2012, 43(8): 98-100.

  7. 7. 施仲添. 城市规划多源数据组织管理的总结与思考[J]. 城市勘测, 2010(6): 13-14.

  8. 8. 马晶, 毕强, 崔利. 土地调查中多源数据的综合应用研究[J]. 长春工程学院学报(自然科学版), 2009, 10(4): 46-49.

  9. 9. 孙广宇, 李海洋, 张俊, 赵向东. 水灾评估中多源数据的综合运用[J]. 测绘与空间地理信息, 2010, 33(2): 34-36.

  10. 10. 尚武. 网络地理信息系统(WebGIS)的现状及前景[J]. 地质通报, 2006, 25(4): 533-537.

  11. 11. 余丽钰. 省级地理信息资源一体化管理关键技术研究[J]. 测绘与空间地理信息, 2015(3): 218-221.

  12. 12. 杨思全. 减灾救灾决策支持业务能力建设与发展[J]. 中国减灾, 2013(24): 24-25.

  13. 13. 连恒, 仲星, 刘钰. 土地利用现状变更调查增量式更新技术研究[J]. 测绘标准化, 2014(1): 12-14.

  14. 14. 张宏, 周建平. 多源数据在地图制图生产中的综合利用[J]. 国土资源导刊, 2008(3): 49-51.

  15. 15. 李玉群, 周荣, 张军. 多源数据在国防交通图编制中的应用[J]. 辽宁工程技术大学学报, 2007(S2): 68-70.

  16. 16. 林三益. 水文预报[M]. 北京: 中国水利水电出版社, 2001.

  17. 17. 张云霞. 用“大数据理念”提升灾情管理与服务能力[J]. 中国减灾, 2016(5): 16-19.

  18. 18. 陈述彭, 等. 地理信息系统导论[M]. 北京: 科学出版社, 1999.

  19. 19. 张军, 赵芳芳. 滑坡灾害的多源数据分析与评估方法[J]. 地球信息科学, 2008(6): 6741-6748.

期刊菜单