ABSTRACT

The accuracy evaluation of quantitative rainfall prediction is still an urgent research job in the world. So far, there is no single index or test method can objectively and independently describe the reliability of rainfall forecast results. In order to provide more reference information for the hydrological and meteorological coupling forecast, a complete set of evaluation indexes for precipitation forecast was established by studying with the existing rainfall forecast accuracy assessment methods and the evaluation indexes used in flood prediction. The Qingjiang river basin was chosen as a case study to compare four different meteorological forecast models’ performance in rainfall forecast by using the established indexes. The results showed that the manual forecasting and the ECMWF model have the better effect on rainfall forecasting, followed by the Japanese model, while the WRF model is relatively poor.

Keywords:Precipitation Forecast, Forecast Accuracy, Evaluation Index

定量降雨模式预报精度比较及评定指标

卓思佳¹，张俊²，杨欣玥³，訾丽²，邱辉²

¹长江中游水文水资源勘测局，湖北 武汉

²长江水利委员会水文局，湖北 武汉

³河海大学水文水资源学院，江苏 南京

收稿日期：2017年10月20日；录用日期：2017年11月1日；发布日期：2017年11月9日

摘 要

定量降雨预报精度评定在国际上仍是一项亟待深入的研究工作，至今没有一个客观的统计指标或检验方法能单独地全面描述降水预报的可靠性。为给水文气象耦合洪水预报提供更多的参考信息，在现有降水预报检验方法的基础上，借鉴洪水预报中的精度评定方法，建立了一套检验评估降水预报精度的完整指标体系。选取清江流域为应用示范，采用建立的指标体系比较分析四种气象模式的降雨预报水平，结果表明，人工预报和ECMWF模式的降雨预报效果最好，其次为日本模式，WRF模式则相对较差。

关键词 :降雨预报，预报精度，评定指标

Copyright © 2017 by authors and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY).

http://creativecommons.org/licenses/by/4.0/

1. 引言

目前针对降水预报，可参考的成熟数值预报模式众多，如欧洲中心模式(ECMWF)、日本模式、德国模式、T639模式、WRF模式等，同时各类气象业务部门在参考各种数值降水预报模式产品的基础上，利用地面高空实况观测资料，以天气学方法为主，结合预报员经验制作并发布降水预报。面对如此众多的降水预报产品，究竟哪种最适合特定流域？如何在众多产品中选取较好的结果用于耦合水文模型制作水情预报？可见，对降水预报产品的合理选取与释用，已成为摆在预报员面前亟待解决的问题。为了客观评估各产品的定量降水预报能力，必须有一整套降水预报的检验评估体系方法。

降雨预报精度评定在国际上仍是一项亟待深入的研究工作，至今为止没有一个客观的统计指标或检验方法能单独地全面描述降水预报的可靠性。目前，在我国应用比较广泛的主要是中国气象局制定的《重要天气预报质量评定办法》 [1] [2] ，其对各种降水预报产品的预报正确率、空报率和漏报率进行检验，但对定量预报误差进行检验的则相对较少。近些年，国内气象学者利用预报平均偏差率、平均误差等特征量在评估降水预报定量误差方面做了较多工作 [3] [4] ，但无成套的完整指标体系。随着水文气象耦合预报模式研究的广泛深入，水文学者在进行耦合预报模式应用时也对降雨预报的结果进行了一定的评价分析尝试 [5] ，但相关评定大多还只是定性的描述，缺乏统一的标准来衡量。

本文借鉴洪水预报中的一些精度评定指标，并结合现有的降水预报检验方法，综合提出一套检验评估降水预报水平的较完备的指标体系，其在一定程度上反映降雨预报用于洪水预报的可行性，为开展基于水文气象耦合模式的洪水预报提供更多的参考信息。选取日本、ECMWF、WRF模式和人工综合预报(为便于论述，以下暂称为人工综合模式)四种定量降水预报产品，利用推荐的评价指标体系，对清江流域现有的定量降雨预报能力进行评估试验。

2. 降雨预报模式

本研究分析的降雨预报产品包括日本模式、ECMWF模式、WRF模式和人工模式等4种来源，其中：日本模式、ECMWF模式、WRF模式均属于数值天气预报方法，指在一定的初始场和边界条件下，近似求解支配大气运动的流体动力学和热力学方程组来预报未来的大气环流形势和天气要素 [6] ，该是方法是提高气象预测水平最具潜力的方法；人工综合模式属于天气学预报，其是以天气图、卫星云图等资料为主，参考数值模式产品，应用天气学原理的一种经验预报方法，该方法较大程度上取决于预报员的主观经验，不同的预报员做出的降水量预报可能有很大的差异，其仍是国内短期降水预报业务中的主流方法。定量降雨预报模式比较，如表1所示。

2.1. 日本数值预报模式

本研究中日本模式指日本气象厅发布的全球数值模式降水预报产品，该模式采用静力平衡动力框架，谱T213L40网格设计，垂直分40层，水平分辨率约1.25˚ × 1.25˚，半隐式时间积分方案，预报时效为7天，降水预报的时间尺度为6 h。

2.2. ECMWF数值预报模式

本研究中ECMWF模式指欧洲中期天气预报中心发布的全球数值模式细网格降水预报产品，该模式采用静力平衡动力框架，垂直分辨率137层，最高0.01 hpa，最低10米，水平分辨率约0.125˚ × 0.125˚，网格距平均约9公里，靠近赤道和极地的略小，预报时效为10天，降水预报的时间尺度为72 h内3 h，72~240 h为6 h。

2.3. WRF数值预报模式

WRF模式(Weather Research and Forecasting model)是由美国国家大气研究中心(NCAR)、美国国家大气海洋局、美国国家环境预报中心(NCEP)和俄克拉荷马大学暴雨分析预报中心等多单位联合发展起来的新一代非静力平衡、高分辨率、科研和业务预报统一的中尺度预报和资料同化模式。WRF模式为完全可压缩以及非静力模式，长江委水文局水文情报预报中心构建面向长江流域的WRF模式采用四层网格嵌套，水平格距分别为81 km、27 km、9 km、3 km，水平方向采用Arakawa C网格点(重点考虑1~10 km)，垂直分28层，采用地形跟随质量坐标，时间积分采用四阶Runge-Kutta算法，预报时效为7天，降水预报的时间尺度为3 h。

2.4. 人工综合模式

本研究中收集的人工模式产品主要来自长江委水文局水文情报预报中心为面向水情预报需求而制作发布的面雨量人工预报产品；该产品是为在参考多种数值模式预报数据基础上，综合地面、高空观测、气象卫星和天气雷达等多源信息，应用天气学方法，结合当地气候和局部地形等特点，通过气象预报员的经验综合分析制作而成，其产品为针对特定流域未来三天的短期面雨量日降雨预报数值，依据每日08时所获取的最新气象资料综合分析制作完成。

3. 定量降雨预报的评定方法和指标

本文采用分类评定的方法，将相关评定指标按综合评定、分级评定、中雨以上量级评定和过程降雨评定几类进行区别划分。其中：选取相关系数和确定性系数指标从总体上对各降雨预报产品进行综合分析；以气象部门的准确率、空报率和漏报率为指标，统计分析不同实况降雨量级下各产品的预报水平；针对中雨以上量级降雨是洪水预报中所关注的重点事实，采用平均偏大偏小误差、保证率误差等指标评估各产品在较大降雨情况下的定量预报误差和不同保证率下误差水平；最后考虑强降雨过程对洪水预报的重要影响，提出需针对重要强降雨过程，以过程降雨总量、雨量时程分布等比较指标对各预报产品进行分析检验。

对以上所用到的面雨量等级按《江河流域面雨量等级》 [7] 中的降雨等级划分标准进行分级，见表2。

3.1. 相关系数

引入相关系数来衡量实测雨量和预报雨量两个变量线性相关的密切程度，相关系数越接近1，说明两者的密切程度越高，一定程度反映预报值越准确，相关系数 $r$ 的计算公式如下：

表1 定量降雨预报模式比较

表2. 面降雨等级表

$r=\frac{{\displaystyle \sum \left(p_{o,i}-{\bar{p}}_{o,i}\right)\left(p_{f,i}-{\bar{p}}_{f,i}\right)}}{\sqrt{{\displaystyle \sum {\left(p_{o,i}-{\bar{p}}_{o,i}\right)}^2{\left(p_{f,i}-{\bar{p}}_{f,i}\right)}^2}}}$ (1)

式中： $P_{o,i}$ 和 $P_{f,i}$ 分别为实测降雨量和预报降雨量， ${\bar{P}}_{o,i}$ 和 ${\bar{P}}_{f,i}$ 分别为实测平均降雨量和预报平均降雨量。

3.2. 确定性系数

在水文预报方案评定中常用确定性系数 [8] 来评定其有效性，借用其概念可评定降水预报的有效性，确定性系数DC的计算公式如下：

$DC=\left(1-\frac{{\displaystyle \underset{i}{\sum }{\left(p_{o,i}-p_{f,i}\right)}^2}}{{\displaystyle \underset{i}{\sum }{\left(p_{o,i}-{\bar{p}}_{o,i}\right)}^2}}\right)\times 100\%$ (2)

3.3. 准确率、漏报率、空报率检验

依据划分的降雨等级表，选用统计学的方法分析不同等级降雨预报的正确率 $\eta$ 、漏报率 $\beta$ 和空报率 $\sigma$ ，计算公式分别为：

$\eta =\left(n/m\right)\times 100\%;\beta =\left(\mu /m\right)\times 100\%;\sigma =100-\left(\beta +\eta \right)$ (3)

式中：m为发布预报次数；n为实际值落于预报等级区域内的次数； $\mu$ 是发布预报中漏报(实际降雨大于降水等级域值上限)的次数。

3.4. 偏大、偏小误差

为了定量描述降雨预报值相对实况值的偏大、偏小程度，同时考虑强降雨的重要性，将中雨等级以上降雨进行统计，引入偏大率 $P_b$ 、平均偏大误差 $W_b$ 、偏小率 $P_s$ 、平均偏小误差 $W_s$ 等客观指标，各指标计算公式如下：

$P_b=\frac{N_b}{N}\times 100\%$ ， $W_b=\frac{{\displaystyle \underset{i}{\overset{N_b}{\sum }}\frac{\left(p_{f,i}-p_{o,i}\right)}{p_{o,i}}\times 100\%}}{N_b}$

$P_s=\frac{N_s}{N}\times 100\%$ ， $W_s=\frac{{\displaystyle \underset{i}{\overset{N_s}{\sum }}\frac{\left(p_{f,i}-p_{o,i}\right)}{p_{o,i}}\times 100\%}}{N_s}$ (4)

式中： $N_b$ 、 $N_s$ 分别为预报偏大、预报偏小的样本数目； $N$ 为样本总数。

3.5. 误差保证率曲线

将降雨预报误差系列按从大到小排序，借鉴设计洪水中经验频率的计算方法，计算各误差的保证率 $P_g$ (计算公式如下)，表征某一误差水平得到保证的程度，以达到客观评价定量降雨预报误差水平的目的。一般而言，80%的保证率反映预报误差的总体情况，95%以上的保证率误差反映预报误差的极端情况。

$P_g=1-\frac{n}{N+1}\times 100\%$ ， $n=1,2,\cdots ,N$ (5)

式中：n为某一误差量级对应的排序号，N为样本系列总数。

3.6. 强降雨过程检验

次洪过程是洪水预报的重点关注对象，其洪峰和次洪水量的量级与过程降雨密切相关，因此，选取强降雨过程，对过程预报降雨总量、降雨量在过程中的时程分布进行客观检验具有重要现实价值。强降雨过程预报的检验指标或评价宜采用过程总降雨量绝对误差、相对误差、降雨时程分布比照图等。

4. 实例应用

选取清江流域为例，利用建立的指标体系全面评估分析各模式的降水预报能力。清江流域位于东经108˚35'~111˚30'，北纬29˚33'~30˚50'之间，流域面积约为17,000 km²，全长423 km，总落差1430 m。地理位置属于云贵高原的东北端，巫山山脉的南部，总地势西高东低，流域自西向东呈羽毛状水系，形状为南北窄而东西长的窄长形；流域暖湿多雨，属副热带季风气候区，水汽主要来自孟加拉湾、南海和东海，供给充沛，受大气环流形势及特有地形影响，为长江流域的多雨地区之一，降雨一般自4月开始，9月结束，多年平均降水量1400 mm。流域内年平均气温大部在15℃~17℃，多年平均径流深870 mm。

清江流域共布设有21个雨量观测站点，日本、ECMWF、WRF模式在其周边或流域内分别有15个、92个和42个输出格点，清江流域雨量观测站点及各模式格点分布如图1所示。

4.1. 面雨量计算方法

在计算清江流域各分区面雨量时，须将日本模式、ECMWF模式、WRF模式、人工综合模式和实况数据做不同处理。实况数据的实测地面站、ECMWF模式和WRF模式的输出格点分布较为均匀，将其站点实测值或格点预报值求算术平均即得到流域面雨量值；日本模式因输出格点稀少，采用距离倒数平方权重法先将其格点预报值插值到实测站点，而后以实测站点的预报值插值求算术平均即得到清江流域基于日本模式的面雨

图1. 清江流域各模式输出格点示意图

量预报值。

4.2. 预报精度比较检验

每年汛期(5~10月)是一年中强降水最为集中，也是衡量各种降雨预报产品质量的关键期。本研究收集日本模式、ECMWF模式、WRF模式和人工综合模式对清江流域2015年~2017年汛期的逐日(预见期为1天、2天、3天)面雨量预报值，采用本文推荐的评定方法和指标体系对清江流域现有的定量降雨预报能力进行综合评估。

4.2.1. 预报精度总体分析

采用相关系数分析各模式预报系列与实况降雨系列的相关程度，而采用确定性系数评估各预报系列与实况系列间的吻合程度，结果见表3。

由表可知：ECMWF模式和WRF模式预报系列与实况的相关程度与人工综合模式基本接近，日本模式则相对较差，预见期为1 d时，各模式的相关系数均在70%以上，随着预见期的增长，各模式预报系列与实况降雨系列的相关程度呈下降趋势；各模式预报系列的确定性系数计算结果并不理想，这主要是由于降水是不连续变量，且降水量是某一时间段内的累积结果，与洪水预报分析中流量连续系列显著不同。基于从所收集的预报产品数据比较，发现ECMWF模式和人工综合模式的预报结果较好，日本模式次之，WRF模式则最差。

4.2.2. 降雨量分级检验分析

参照《江河流域面雨量等级》中雨量等级的划分标准，将降雨划分为无雨、小雨、中雨、大雨、暴雨以上等五个量级，按正确率、空报率和漏报率等指标对各模式的预报能力进行分析检验，具体结果参见表4。

由表分析可知：预报无雨和小雨量级时，四种模式的预报正确率较高，随着降雨预见期的增加，预报正确率呈下降趋势，空报率不断增加，而漏报率则不断减小。对于中雨以上量级，检验发现ECMWF模式正确率较

高，漏报率相对较低，结果最好，人工综合模式、日本模式次之，WRF模式则预报效果最差。

4.2.3. 定量误差分析

(1) 平均偏大、偏小误差

针对中雨以上量级强降雨，以偏大、偏小率和平均偏大、平均偏小误差等为统计量，定量评估三种预报产品的预报误差，结果见表5。

表3. 清江面雨量预报总体评定

表4. 清江流域不同等级降雨预报评分表(单位：%)

表5. 清江流域中雨以上等级降雨预报定量误差统计

由表5可知：(1) 各模式在中雨以上量级，预报偏小率在50%以上，明显大于偏大率(均在30%以下)；(2) 各模式平均偏小误差在38.4%~62.5%之间，随着预见期的增加，有微弱增大趋势，总体比较而言，日本模式、ECMWF模式和人工综合模式在不同预见期内偏小误差基本相当，ECMWF模式最小；(3) 各模式的平均偏大误差在53.0%~116.7%之间，大于平均偏小误差，说明虽然四种模式预报偏大情况较少，但一旦预报偏大，其误差比偏小误差更大，比较而言，日本模式和WRF模式在不同预见期内偏大误差较大，ECMWF模式次之，人工综合模式最小。

(2) 保证率误差

为分析各模式不同保证率的误差水平，按前述介绍方法计算各模式的清江面雨量降雨预报误差保证率，结果见表6。由表知：1 d预见期内日本、ECMWF模式、WRF模式、人工综合模式降雨预报80%保证率误差分别在5.6 mm、5.4 mm、6.7 mm、6 mm以下，四种模式差别不大；90%保证率误差分别在9.8 mm、9.1 mm、12.1 mm、9.7 mm以下，保证率95%~100%对应的误差增大较快。

图2绘出了1 d预见期下各模式的降雨预报误差保证率曲线分布。由图可知，在预见期为1天时，WRF模式保证率曲线位居最左边，而后依次为日本模式、人工综合模式、ECMWF模式，说明在同保证率下WRF模式误差最大，日本模式次之，人工综合模式和ECMWF模式则较小。

4.2.4. 强降雨过程个例检验

按以下标准选取清江流域强降水过程：一是过程累积面降雨 ≥ 50 mm且降雨日不中断；二是过程开始和结束日的日面雨量 ≥ 2 mm；降雨过程中至少有两天日雨量大于10 mm。按此标准，从2015~2017年汛期资料中共选取6次强降雨过程，其基本情况见表7。

收集上述四种模式对应表7中的强降水过程的逐日24 h预报信息为对象，对过程预报总量、过程开始和停

表6. 清江流域降雨预报保证率误差统计

表7. 强降雨过程概况

止时间进行客观检验，结果见表8。

由表8可知，四种降雨预报数据较实况值偏大偏小都有体现，但各模式偏差的幅度存在差异，其中人工综合模式预报结果最好，过程总雨量预报相对误差在−46.4%~29.5%之间，平均相对误差17.5%；ECMWF模式次之，过程总雨量预报相对误差在−29.4%~49.1%之间，平均相对误差21.3%；WRF模式结果最劣，过程总雨量预报相对误差在−39.9%~48.6%之间，平均相对误差30.4%。

图3比较了“2016.6.19~2016.6.28”强降雨过程中各模式的预报效果。由图可知，各模式的预报结果均能反映出较大降雨过程，但过程雨量相比实况偏均化，综合比较而言，人工综合模式的预报过程更接近实况过程。

图2. 1 d预见期降雨预报误差保证率曲线

图3. “2016.6.19~2016.6.28”降雨过程预报效果比较图

表8. 清江流域强降雨过程预报误差统计

5. 结语

本文借鉴洪水预报中的精度评定方法，并结合现有的降水预报检验方法，综合提出一套能在一定程度上侧重反映降雨预报信息是否适用于洪水预报的评估指标体系。另外，针对近几年清江流域现有的四种模式(日本、ECMWF、WRF、人工综合)下的降水预报产品，采用所提出的评估指标体系对各模式的降雨预报精度及误差水平分析进行了实例分析检验，分析认为人工综合模式和ECMWF模式在中雨以上量级预报正确率、保证率误差、强降雨过程预报等方面体现了较好的优势，降雨预报效果最好，其次为日本模式，WRF模式则相对较差。总体而言，从水文气象耦合角度出发，该评估指标体系具有较好的应用价值，能侧重反映定量降水预报效果，以及对洪水预报的影响程度。

基金项目

国际科技合作专项(2014DFA71910)。

文章引用

卓思佳,张 俊,杨欣玥,訾 丽,邱 辉. 定量降雨模式预报精度比较及评定指标
Study on Comparison and Evaluation Index of Quantitative Rainfall Forecast Accuracy[J]. 水资源研究, 2017, 06(06): 557-567. http://dx.doi.org/10.12677/JWRR.2017.66065

参考文献 (References)