ABSTRACT

Through typical investigation and combining with the status quo of water conservancy science and technology projects in Jiangxi province, a performance evaluation index system from four dimensions of project management, technical level, output and impact, including 5 basic indicators and 15 specific indicators, is proposed. Analytic Hierarchy Process (AHP) method is used to determine the weight of each index, which makes the weight more scientific, reasonable, simple and convenient. Finally, a complete evaluation index system of water resources science and technology projects is obtained, and four evaluation grades of excellent and medium-poor indicators are set up. The evaluation results can reflect the overall level of the project, and the advantages and disadvantages are clearly reflected. It provides a certain reference for later project decision-making and management, and promotes the innovative development and achievement transformation of water intake science and technology projects.

Keywords:Analytic Hierarchy Process (AHP), Water Conservancy Technology Project, Performance Evaluation

基于AHP的水利科技项目绩效评估方法

王海菁¹，颜雄²，王小笑¹

¹江西省水利科学研究院，江西 南昌

²南昌大学，江西 南昌

收稿日期：2019年2月15日；录用日期：2019年3月26日；发布日期：2019年4月15日

摘 要

本文通过开展典型调查，结合江西省水利科技项目现状，构建了从项目的管理、技术水平、产出和影响四个维度的绩效评估指标体系，包括有5项基本指标和15项具体指标。采用层次分析法确立了各项指标的权重，使得权重确立更为科学、合理、简便，最后得出一套完整的水利科技项目评估指标体系，并设置了优良中差四个指标评估等级，评估结果可反应项目的总体水平，优缺点清晰体现，为后期项目决策及管理提供了一定的参考，促进水利科技项目的创新发展和成果转化。

关键词 :层次分析法，水利科技项目，绩效评估

Copyright © 2019 by author(s) and Wuhan University.

This work is licensed under the Creative Commons Attribution International License (CC BY).

http://creativecommons.org/licenses/by/4.0/

1. 前言

科学技术是第一生产力，创新是引领发展的第一动力。水利科技项目是经济和水利发展的重要组成部分，是科学研究和技术开发的主要手段。随着各级政府对水利科技工作的关注程度越来越高，水利科技项目投入不断加大，我省水利科技成果也在不断增多。长期以来，大量的水利科技成果得不到系统的总结及应用，科技成果无法有效转化，发挥应有的作用。本文通过对江西省水利科技项目成果全面深入的研究分析，建立一套科学的绩效评估体系来对江西省水利科技项目进行合理评价，分析项目成果的优缺点，有利于提高水利科技项目质量，促进科研成果转化，为江西省水利科技决策和发展提供参考意见。

2. 指标体系构建

以2005年至今已结题验收的江西省水利科技项目为研究对象，依据科学性、系统性、可操作性、协调性、客观准确性、导向性等构建原则，采用层次式的指标体系结构形式，通过收集有关成果资料，相关文献研究，结合水利科技项目有关专家、项目负责人的建议拟定合理的指标结构，并进行分析及筛选，把江西省水利科技项目评估指标分成目标层、准则层、指标层3个层次构建江西省水利科技项目评估指标体系，进而确定三级指标具体内容及标度。

2.1. 目标层的确定

从整体上设立构建江西省水利科技项目投入与产出指标模式。其中，江西省水利科技项目的投入主要包括科技投入、资金投入等，而绩效评估指标的建立主要依据水利科技项目产出建立。

2.2. 准则层(一级指标)的确定

在总体目标下，将从项目的项目执行、技术水平、生态和社会效益、经济产出和科研产出五个方面入手，构建江西省水利科技项目项目评估指标体系。一级指标具体内容包括：

1) 项目执行

指水利科技项目在实施的过程中是否严格按照合同规定进行的，主要是从项目计划实施和项目考核指标两方面进行分析。

2) 技术水平

指技术的先进程度、研究团队的专业结构以及科技成果。

3) 生态和社会效益

指项目在完成执行后所产生的生态效益和社会效益，即用来评估项目的实施为社会的发展和生态环境的保护所做出的贡献和影响。

4) 经济产出

指项目成果直接应用于生产活动领域，科技成果通过生产转化，表现为一定的经济效益，可以是直接或是间接的带动经济的发展。

5) 科研产出

指科技项目产出得到的直接科技成果，主要包括对科研团队培养人才的层次和数量、出版著作和论文报告的层次和数量。

2.3. 指标层(二级指标)的确定

评价指标体系的构建十分重要，在水利工程管理现代化评价指标具体构建时要先注意确立一级指标、二级指标等 [1] 。采用准确、合理、可测的指标及指标群，对变量层的表现给予直接度量，是指标体系的最基本的组成部分。确定二级指标包括：项目计划实施、项目考核指标、技术先进程度、专业结构、科技成果、生态效益、带动后续资金投入、经费投入与研究成果产出、实验基地和示范点、知识产权获得、知识产权转化、标准政策制定、经济效益、人才培养、学术成果。评估指标不仅要建立在科学理论之上，还要能反映水利科技项目的主题特征、主要问题和发展趋势等，每个指标确定具体内容的同时应描述其指标标度，本文各级指标层具体内容及评估标准如表1所示。

表1. 江西省水利科技项目绩效评估指标体系及标准

3. 指标权重确定

权重集是表示各个指标在指标体系中重要程度的集合 [2] 。对各指标权重的确定是水利科技项目绩效评估体系构建的一个重要步骤，权重的分布直接影响评估结果，具体指标的量值对评估体系的有效性和科学性有着重要意义 [3] 。目前，常用于确定权重的方法有层次分析法、专家调查法、移动平均法、指数平滑法等，考虑到层次分析法具有系统性、实用性和简洁性等优点，因此本文采用层次分析法计算各指标权重。

3.1. 计算方法

首先邀请水利专家凭借相关经验主观判断各评估指标之间的相对重要程度并合理地给出相应评估指标权数，并根据标度理论构造出两两比较的判断矩阵，再运用数学方法对所建立的判断矩阵进行求解进一步计算出比较元素对于该准则的相对权重，最后确定各层元素对系统目标的合成权重，对所计算出的权重进行一致性检验，若通过检验可视为权重计算合理，若未通过检验则需要对判断矩阵做出调整并重新计算权重直至通过检验。

3.2. 计算过程

1) 构造判断矩阵

因此本研究邀请了来自高校、科研院所以及相关水利职能部门的10位专家为评估指标进行打分，本研究邀请的专家均为高级工程师及以上职称，专业领域主要包括：水利工程、水文水资源、防汛抗旱、水环境与水生态、农村水利等。专家打分根据两两因素比较的重要性给出相应分数。下面以其中一位专家的准则层指标打分情况为例进行计算，其判断矩阵如表2所示。

表2. 准则层指标判断矩阵

2) 归一化处理

对上表中指标进行归一化处理，即每一具体标度与列求和结果相除之后对各行求和，最后计算总和(分数/列求和结果)，如表3所示。

表3. 列正规化矩阵

3) 求相对权重ω

将上一步计算得到的行求和结果除以总和(各行之和/总和)，得到相对权重，如表4所示。

表4. 准则层指标相对权重

4) 计算最大特征根

最大特征根计算公式为 ${\lambda }_{\max }=Bw/\left(判断矩阵阶数\ast 相对权重\right)$ 。其中，Bw计算结果如表5所示。

表5. 准则层指标各标度与相对权重乘积求和计算结果

最大特征根计算结果如表6所示。

表6. 最大特征根计算

5) 一致性检验。

计算该判断矩阵一致性指标CI：

$CI=\frac{{\displaystyle \sum {\lambda }_{\max }-n}}{n-1}=\frac{5.430356-5}{5-1}=0.107589$

得出CI值后，计算该判断矩阵的一致性比率： $CR=\frac{CI}{RI}$ ，通过查平均随机一致性指标RI值表可知5阶矩阵RI取1.12，因此， $CR=\frac{0.107589}{1.12}=0.096062<0.1$ ， $CR<0.1$ 则该判断矩阵的不一致性程度在容许范围内，所计算出的各评估指标权重可以采用。

3.3. 计算结果

按上述方法计算出10位专家给各项指标打分的权重值，并将同一指标的权重进行算术平均，得出代表专家群体集中意见的综合权重即为本文所构建的评估指标体系的综合权重。计算结果如表7所示。

表7. 评价指标体系综合权重

4. 指标评估等级

水利科技项目绩效计算公式为：

$K={\displaystyle \sum _{i=1}^{15}{\omega }_i{P}_i}$

式中：K为水利绩效综合评价指数， ${\omega }_i$ 为各评价指标权重， $P_i$ 为各评价指标绩效评定等级分数。得分在81~100之间的项目为优，得分在61~80之间的项目为良，得分在41~60分之间的项目为中等，项目评估得分在0~40分之间的项目为差。

5. 建议

本文建立的评估指标体系涉及内容较多，受评项目成果的各项信息至关重要，若信息缺失则会影响到整个绩效评估结果。因此，在项目验收后建议建立一套采集项目信息的长效机制。部分信息如一定时期内产生的经济效益等还需要通过科学测算，确保后期绩效评估体系正常运行。且对已完成的水利科技项目进行绩效评估之后，应当做好评估成果的管理工作，对相关数据进行科学的归纳整理，将成果集成处理形成一定规模的数据库，为今后水利科技项目的科学建设与健康发展奠定基础。

基金项目

江西省水利厅科技计划项目(KT201642)。

文章引用

王海菁,颜 雄,王小笑. 基于AHP的水利科技项目绩效评估方法
Evaluation Method of Water Conservancy Science and Technology Project Based on AHP[J]. 水资源研究, 2019, 08(02): 170-176. https://doi.org/10.12677/JWRR.2019.82020

参考文献