Advances in Marine Sciences
Vol.03 No.02(2016), Article ID:17360,7 pages
10.12677/AMS.2016.32004

The Advantage of Grads Software in Dealing with the Wave Big Data

Zhansheng Gao1, Qianfeng Liao2, Xuan Chen2,3, Wenpeng Liu1

1Department of Navigation, Dalian Naval Academy, Dalian Liaoning

2People’s Liberation Army University of Science & Technology, Nanjing Jiangsu

3No. 75822 of PLA, Guangzhou Guangdong

Received: Mar. 17th, 2016; accepted: Apr. 15th, 2016; published: Apr. 18th, 2016

Copyright © 2016 by authors and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY).

http://creativecommons.org/licenses/by/4.0/

ABSTRACT

In the big data times of information explosion, the selection of efficiency software is to get the important guarantee of useful information from big data. In this paper, we use Grads (Grid Analysis and Display System) software to handle and draw the big marine data, at the same time using other software to compare with Grads. The results show that Grads program is more suitable in marine data handling, with following reasons: 1) Grads program is succinct, hardly to make mistakes; 2) Grads has advantages in handling efficiency over other software obviously. In addition, based on Grads, by calculating the moving average, linear trend, correlation coefficient, statistical frequency combined with Fortran program and some common used functions, we found that Grads had advantages in these aspects with higher efficient calculating capability and graphic display ability. In future, we can make contributions for oceanic development by using Grads for other data not in ocean wave field.

Keywords:Grads Software, Ocean Wave Big Data, Conciseness, Efficiency

Grads在海浪大数据处理中的优势

高占胜1,廖前锋2,陈璇2,3,刘文鹏1

1海军大连舰艇学院航海系,辽宁 大连

2解放军理工大学,江苏 南京

3解放军75822部队,广东 广州

收稿日期:2016年3月17日;录用日期:2016年4月15日;发布日期:2016年4月18日

摘 要

在信息爆炸的大数据时代,选择高效的应用工具,是从大数据中获取有用信息的重要保证。本文在此利用Grads (Grid Analysis and Display System)软件对海洋数据进行处理、绘图,同时利用其他软件进行对比,发现Grads程序更适合应用于海洋大数据处理,理由如下:1) Grads程序简洁、不易出错,程序简短。2) Grads处理效率明显高于其与软件。还利用Grads软件进行滑动平均、求线性变化趋势、求相关系数、结合Fortran程序统计频率、以及一些常用函数的计算,发现该软件在这些方面都具有非常强大、高效的运算能力、显示能力。在未来的工作中,还可以尝试着将Grads软件应用于海浪以外的其与数据,为海洋建设做贡献。

关键词 :Grads软件,海浪大数据,简洁,高效

1. 引言

在信息爆炸的大数据时代,选择高效的应用工具,是从大数据中获取有用信息的重要保证。目前全球各个国家的海洋数据种类较多、数据量巨大,如庞大的地形水深数据、海表风场数据、高空风场数据、海浪、海流、潮汐、海温、海水盐度和密度等数据,往往小范围海域的数据量就非常惊人,全球海域更是不言而喻。如何从这些纷繁的数据中获取有用的海洋信息,这就要求选择一款合适、高效的软件。海洋资料的高效处理、统计分析,是航海 [1] - [3] 、“21世纪海上丝绸之路”建设 [4] [5] 、海洋工程 [6] [7] ,乃至迈向深蓝的重要保障。目前,全球各发达国家、各高科技领域都非常关注大数据、以及大数据处理技术。美国奥巴马政府2012年推出了“大数据研究和发展倡议”,并投资2亿美金支持大数据的研发,说明大数据已成为信息科技领域的热点。风投机构Accel Partners设立1亿美元专项基金,大数据分析公司Splunk,首日上市IPO即上涨109%,大数据软件提供商Birst公司今年已经从红杉资本等机构获得了2600万美元的投资,为开源大数据技术Hadoop的商业版本提供销售和支持服务的Cloudera获得7500万美元投资,MapR、10Gen、DataStax等大数据软件服务商近期都完成了千万美元级的融资。

海洋对人类的生产生活有着重要的影响,其危害已被人类认知,但是,如果把握好海洋规律,同样可以造福人类。近期,郑崇伟科研团队 [8] - [10] 在我国首次论证了南海岛礁的海浪发电的可行性,标志着我国在这方面已经突破技术封锁,该成果将大大提高岛礁的生存能力、可持续发展能力。海洋开发,评估先行。海浪作为重要的海洋要素,对军地海洋建设有着重要影响,做好海浪数据处理有着非常实用的价值。我国周边海域富含大量石油,福建、浙江、广东、广西、海南、台湾、山东、辽宁、香港以及上海等沿海省市涉及远洋运输和渔业等经济活动。海洋石油平台及建设、港口码头、海上搜救、海上观测及相关设施建设、远洋运输业、深海探测等均对海况预报提出了较高的要求。相较于海洋流场和其他相关要素的预报来说,海浪的理论多集中于经验和统计、动力混合的程度,在实际应用中也较为成熟。本文在此对Grads软件在海浪模拟资料处理中的优势进行探析,期望可以为军地海洋建设提供参考。

2. Grads软件、数据介绍

2.1. Grads简介

Grads软件是专门为从事大气海洋研究的科研和业务人员设计、完全免费的软件(下载地址:ftp://sprite.llnl.gov/pub/fiorino/grads/data/)。该软件是由美国马里兰大学气象系Brian E.Doty开发的用于气象数据分析与显示面向气象从业人员的专业软件。1992年,美国马里兰大学Kinter, James L.发布题为The Grid Analysis and Display System (GRADS): A practical tool for Earth science visualization的简讯,最初设想是在巨型机上以(准)实时交互的形式实现科技工作者及时了解计算结果的分布。在两年后,Brian E.Doty和Kinter,James L.发布的早期Grads版本已经实现预期的基本功能。该软件采用交互式操作和脚本编程结合的方式,便于批处理和人机交互,以实现及时、客观、准确的了解相关数据内容的目的。同时,由于最初的设计是面向巨型机,加上计算结果的复杂性,Grads一直沿用内含式的地图投影及其他相关格式,为便于操作,Grads支持简写命令的形式。Grads作为较早的计算机绘图工具之一,其实用性和便捷的处理方式使之在气象海洋及其他学科领域有着较为广泛的应用。从早期的设计来看,Grads需要提供二进制存储文件的描述文件,这一点在当时无疑是便捷的,在气象相关领域,其自带函数库较为丰富,图形线型较为规整,这些优点使它具有较强的竞争优势。但也存在可控性较差、人机交互较为薄弱、面向对象编程意识有所欠缺等缺点。

目前,该软件可提供当下较为流行的操作系统下的安装版本,如PC的Windows9X、WinNT、Linux,以及工作站下的UNIX。典型特点:具有气象海洋数据分析功能强、图形显示快速、地图投影坐标丰富、高级编程语言使用容易,并且具有彩色动画功能等诸多优点。

2.2. 海浪数据现状

常用的海浪资料有:人工观测数据、浮标观测资料、船舶报数据、海洋调查船观测数据、卫星资料反演的海浪数据、数值模拟的海浪场、模拟海浪场与观测资料同化数据等。目前全球各个国家的海浪观测资料也都非常有限,这种困境在我国显得尤为突出,实测海浪资料更是凤毛麟角。郑崇伟科研团队在我国首次模拟得到我国第一份、覆盖整个中国海域、长时间序列、高分辨率的海浪场数据 [11] ,为我国海浪基础研究、海洋能资源评估、防灾减灾等奠定了坚实的数据基础。本文在此专门讨论如何利用Grads软件,对该数据进行高效处理。

3. Grads处理海浪数据

3.1. Grads与其他软件对比

本文所用的数据为WW3海浪模式模拟得到的逐小时的中国近海海浪数据,数据时间序列长(24年),时空分辨率高,数据量大(30 GB)。在海浪模拟过程中,模式会自动生成一个ctl文件描述模拟的海浪数据,ctl文件见图1。由该ctl文件可以明显看出,海浪数据空间范围为0˚~50˚N,100˚~150˚E,时间序列为1988年至今,空间分辨率为0.25˚ × 0.25˚,时间分辨率为3 h。显然,是一个大数据,因此选择高效的处理软件显得尤为重要。

在数据应用过程中,需要将30 GB逐小时的海浪数据处理称为逐8小时的海浪数据。本文在此编写一个简单的Grads程序do-average.gs,实现了这一目的。从图2可以明显看出,该程序易懂、便于操作,总共只有13行,作者同时利用其与软件还编写了对海浪进行逐8小时平均的程序,发现程序代码普遍在120行以上,且涉及到处理闰年平年问题的时候,程序较难保证准确性,而且其与程序较为敏感,细微的失误都会导致程序不能正常运行。此外,还发现:处理如此大数据,Grads数据总共用时70 s,而其与

Figure 1. The ctl file of depicting the wave fields

图1. 描述海浪数据的ctl文件

Figure 2. The program of doing 8-hourly average of wave field

图2. 将海浪数据进行逐8小时平均的grads程序

软件耗时都在130 s以上,这就表明Grads在处理效率上也明显优于其与软件。

3.2. 结果检验

为了检验Grads程序的准确性,本文在此随机提取2014年3月3日07时~ 2014 年3 月3 日13 时 的海浪数据,首先绘制了07时、09时、11时、13时的海浪场,见图3 (绘图软件同样采用Grads软件)。3日07时,冷空气主体进入黄海和东海的交界,大浪中心的波高在 4.0 m 左右,整个黄海、东海北部的浪向都以北向为主。3日09时,冷空气继续南下,主体进入东海,强度有所增强,大值中心的浪高在 5.0 m 左右,这应该是因为冷空气进入东海后海域更为开阔,更有利于海浪的充分成长。3日11时,冷空气沿着大陆海岸线向西南方向行进,波高有所减小,大值中心的浪高在4.0~4.5 m之间,整个东海、黄海的波向都是偏北向。3日13时,冷空气继续朝着台湾岛的方向前进,强度没有太大变化。

对3日07时~13时逐小时的海浪场进行平均,结果见图4。在上述时间段期间,黄海、东海的波向都以偏北向为主,波高的大值区分布于琉球群岛及其北部海域,浪高在4.0~4.5 m之间,整体来看,图4图3保持了很好的一致性。这就表明Grads软件处理的结果是正确的。

注:为了便于观察,以矢量箭头标示波向,背景色标示波高。

Figure 3. A cold air wave field in March 2014

图3. 2014年3月上旬的一次冷空气大浪过程

注:为了便于观察,以矢量箭头标示波向,背景色标示波高。

Figure 4. Average of wave field from 07:00z03March 2014 to 13:00z03March

图4. 2014年3月3日07时~13时平均的海浪场

4. 结论与展望

本文利用Grads软件对海浪数据进行逐8小时平均,同时利用其他软件进行对比,发现Grads程序适合应用于海洋大数据处理,理由如下:1) Grads程序简洁、不易出错,程序简短。2) Grads处理效率明显高于其与软件。此外,作者还利用Grads软件进行滑动平均、求线性变化趋势、求相关系数、结合Fortran程序统计频率、以及一些常用函数的计算,发现该软件在这些方面都具有非常强大、高效的运算能力、显示能力。

Grads成图迅速、快捷,图像线型较为规整,自带相关专业函数库丰富,可以结合混合编程模式,具备进行后台实时、高速的数据分析处理的能力。此外,使用者可以对目前Grads提供的编译安装版本进行加工,使之适用于目标任务,增添相关专业函数,如:联合国教科文组织推荐的The international thermodynamic equation of seawater-2010: Calculation and use of thermodynamic properties中的海洋学相关函数,可以增强Grads的适用能力。在数据爆炸的当今时代,高效的处理软件是有效提取大数据信息的有力保证,在未来的工作中,还可以尝试着将Grads软件应用于海浪以外的其他数据,为海洋建设做贡献。

文章引用

高占胜,田妍妍,陈 璇,刘文鹏. Grads在海浪大数据处理中的优势
The Advantage of Grads Software in Dealing with the Wave Big Data[J]. 海洋科学前沿, 2016, 03(02): 19-25. http://dx.doi.org/10.12677/AMS.2016.32004

参考文献 (References)

  1. 1. 高占胜. 台风“菲特”期间T639预报风场在东中国海的有效性检验[J]. 海洋学研究, 2015, 33(1): 9-15.

  2. 2. 高占胜. Grads在中国近海大浪频率统计中的运用[J]. 海洋科学前沿, 2014(1): 50-54.

  3. 3. 高占胜, 石爱国, 蔡烽. 051舰风中运动仿真研究[C]. 高速船及特殊用途特殊结构船舶航行安全论文集, 大连, 2000: 152-160.

  4. 4. 高占胜. 南海–北印度洋波高的长期变化Ⅱ. 趋势的区域性、季节性差异[J]. 海洋预报, 2016, 33(2): 9-15.

  5. 5. 郑崇伟, 潘静, 孙威, 等. 经略21世纪海上丝路之海洋环境特征系列研究[J]. 海洋开发与管理, 2015, 32(7): 4-9.

  6. 6. 郑崇伟, 高占胜, 张雨, 等. 经略21世纪海上丝路之海洋环境特征: 极值风速、极值波高[J]. 海洋开发与管理, 2015, 32(11): 4-8.

  7. 7. 郑崇伟, 潘静, 黄刚. 利用WW3模式实现中国海击水概率数值预报[J]. 北京航空航天大学学报, 2014, 40(3): 314-320.

  8. 8. 郑崇伟, 李崇银. 中国南海岛礁建设: 重点岛礁的风候、波候特征分析[J]. 中国海洋大学学报: 自然科学版, 2015, 45(9): 1-6.

  9. 9. 郑崇伟, 李崇银. 中国南海岛礁建设: 风力发电、海浪发电[J]. 中国海洋大学学报: 自然科学版, 2015, 45(9): 7-14.

  10. 10. 郑崇伟, 陈璇, 李崇银. 朝鲜半岛周边海域波候观测分析[J]. 中国海洋大学学报: 自然科学版, 2015, 45(9): 21- 27.

  11. 11. 郑崇伟, 游小宝, 潘静, 等. 钓鱼岛、黄岩岛海域风能及波浪能开发环境分析[J]. 海洋预报, 2014, 31(1): 49-57.

期刊菜单