贵州大学公共管理学院，贵州 贵阳

收稿日期：2023年9月5日；录用日期：2023年10月12日；发布日期：2023年10月24日

摘要

作为评估科学的分支内容，国外学者对合作性评估的研究已经取得了一定成果，开发了合作性评估模型和评估技术。国内绩效领域学者对合作性评估的关注较早，但实际开展关于合作性评估理论引进和模型研究的中文文献却鲜见其迹。合作性评估强调评估人员和项目利益相关者在评估活动中的积极合作，以提升评估结果的科学性和被采纳的可能性。文章在国外学者研究基础上进行研究方法的创新，尝试运用层次分析法(AHP法)对合作性评估模型进行符合中国场域的改进简化，以期望合作性评估在我国的评估实践中能够得到借鉴发挥。构建目标层、准则层和方案层之间的层次结构，再分别将各个部分的内容构建起一级指标和二级指标的判断矩阵，经过判断矩阵的权重单排序计算最后得到层次结构的综合权重结果，经过一致性检验，表明计算结果在一致性上得到通过。改进后的合作性评估模型包含六个组成部分共23项内容，并且按照重要性对各个部分的具体内容进行了重新排序。

关键词

AHP法，合作性评估，模型简化

Exploratory Simplification of Collaborative Evaluation Model Based on AHP

Jiajun Li

School of Public Administration, Guizhou University, Guiyang Guizhou

Received: Sep. 5^th, 2023; accepted: Oct. 12^th, 2023; published: Oct. 24^th, 2023

ABSTRACT

As a branch of evaluation science, foreign scholars have made some achievements in the study of cooperative evaluation, and developed collaborative evaluation model and evaluation technology. Domestic scholars in the field of performance have paid attention to collaborative evaluation earlier, but there are few literatures with Chinese on collaborative evaluation models. Collaborative evaluation emphasizes the active cooperation of evaluators and project stakeholders in evaluation activities to improve the scientific nature of evaluation results and the likelihood of adoption. Based on the research of foreign scholars, this paper tries to use analytic hierarchy process (AHP) to improve and simplify the collaborative evaluation model in line with the Chinese field, so as to hope that cooperative evaluation can be used for reference in China’s evaluation practice. The hierarchical structure among the target layer, criterion layer and scheme layer is constructed, and then the judgment matrix of the first and second indexes is constructed by the contents of each part, and the comprehensive weight result of the hierarchy is finally obtained through the single ranking calculation of the weight of the judgment matrix. The consistency test shows that the calculation result is passed in the consistency. The improved cooperative evaluation model contains 23 items in six components, and the specific contents of each part are reordered in order of importance.

Keywords:AHP, Collaborative Evaluation, Model Simplification

Copyright © 2023 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 引言

随着评估科学的不断发展，对项目的评估不再是某一单一学科研究的独有领域，一个更为综合性的评估活动包含了来自不同学科不同部门的评估人员和利益相关者，在这些评估活动中评估人员之间存在着专业或业务壁垒，但是又由于评估活动需要聚在一起进行共同的评估工作，就如何开展合作并促进和开发评估实践的战略工具彼此交换知识，因此一种涉及利益相关者的评估模型的探索建立便显得尤为必要，这种模型需要确定评估人员进行合作评估的各项工作以及建立针对评估活动的各类指标，并能够在实际工作中使得各类人员开展实质性的合作，亦称为合作性评估(Collaborative Evaluation)。

合作性评估是一种方法，在获取信息、收集信息的质量、创造性解决问题的机会和对发现的接受性方面提供了许多优势。合作性评估有助于提高评价结果被使用的可能性，因为它指导决策过程，同时尊重被评价者及其在整个系统中的相互作用 [1] 。近几十年在学者们的推进下，合作性评估已经是一个相对成熟的评估方法分支，从广义上看，合作性评估属于评价理论树的使用分支，它关注的是通过利益相关者的参与来提高评价的使用 [1] 。在项目评估的编年史中，利益相关者的参与是一个古老的话题 [2] 。按照奥沙利文的观点，“合作评估是一种评估方法，有意将项目利益相关者纳入评估过程，并认为他们的参与对于产生有意义、有用和有效的评估结果至关重要” [3] 。虽然近几十年合作性评估已经取得了一定学术进展，国内一些学者对于合作性评估的关注较早，但是相较其他的评估方法或模型在国内这种评估方法的研究和使用却鲜有成果。通过在谷歌学术与中国知网上搜索合作性评估、协作评估等主题词的搜索结果显示，国外自20世纪70年代初以来，利益相关者参与美国和加拿大的项目评估已得到广泛研究和倡导 [4] ，彼时的科学评估被设想为一个最好委托给专家的过程，这些专家享有独立性和处理先进的方法论技能，将在不受对结果有明显兴趣的人的任何特殊恳求影响的情况下进行评估 [5] 。对合作性评估的研究可追溯到上世纪90年代，合作式评估沐浴在其“民主”和“伙伴”自我形象的温暖中，毕竟，这是一个公共/私人伙伴关系、公民“赋权”和试图阐明自治社区的时代 [4] ，经过不断研究到现在已经有一定文献并形成了有关合作性评估模型、框架的成果，然而国内关于合作性评估为主题词的文献却很难搜索查询，另一方面是以利益相关者为主题词的文献有一定量，但也面临着与合作性评估关联性较差的问题。因此可以认为，合作性评估相关研究目前面临的现状是国外研究已经取得了一定进展，但国内对合作性评估的关注和研究实践还较为缺乏。

文章旨在回顾和学习国外关于合作性评估相关文献，对合作性评估概念及内涵进行理解，在国外学者建立的合作性评估模型基础上探索性地运用层次分析法(AHP法)筛选出一部分符合中国实际并能够在中国场域下运用的指标，改进合作性评估模型，实现在研究方法和研究内容上的创新。

2. 合作性评估内涵和模型

(一) 合作性评估内涵

合作性评估(Collaborative Evaluationl)是一种关于在项目评估中系统地将利益相关者纳入评估过程，重视并发挥利益相关者的知识，使得评估结果更科学的评估方法，利益相关者是指和评估项目相关所有人员，包含项目工作人员和评估专家等。国外关于合作性评估的概念表述不一，还没有形成统一获得普遍认可的规范表达，不同学者的侧重点莫衷一是，其中以奥沙利文和罗德里格斯两位学者的研究为重要代表。Askew K.认为，在合作评估中，理解一个项目及其文化背景是做出回应的必要条件，合作评估是一种评估方法，可以通过应用规定的工具和策略来促进文化响应实践 [6] 。作为“协作、参与和赋权”评估方法家族的一员，合作评估强调在整个评估过程中包括利益相关者的重要性，合作评估的一个决定性特征是，它强调在整个评估过程中系统的利益相关者参与。考辛斯和同事们在合作和参与性评价领域做了大量工作，他将协作评估定义为“评估人员和利益相关者在规划和/或进行评估时有很大程度的协作或合作的任何评估” [7] 。罗德里格斯·坎波斯认为合作性评估是一种将来自不同部门、学科和文化的评估人员和利益相关者聚集在一起，就如何将合作用作促进和加强评估实践的战略工具交换知识的方法，它有意在评估过程中纳入评估人员和利益相关者之间的大量合作 [8] [9] 。作为较早对合作性评估进行研究的学者，奥沙利文在早期明确了“合作评估使关键项目利益相关者积极参与评估过程” [4] 的基本原则，随着后续研究的深入，奥沙利文将合作评估的内涵进一步完善，认为合作性评估使关键项目利益相关者积极参与评估过程，他们的参与对于产生有意义、有用和有效的评估结果至关重要。合作评估将加强评估结果并提高评估结果的利用率，当利益相关者与评估人员合作时，他们的理解会增加，评估的效用也会得到提高 [10] 。这一类似的观点也得到了Fitzpatrick的支持，他的研究表明评估人员长期以来一直关注让他人参与评估，并在这样做的过程中，与客户和其他人在项目开发和改进以及评估本身方面进行合作。让客户和其他利益相关者参与评估的方法，以提高有效性或使用性 [11] 。因为在评估过程中，评估人员与项目工作者的观点并不总是一致的，但是合作的态度可以使得他们之间的分歧不断趋向一致并倾向于对合作体验有更积极的感受 [12] 。换句话说，尽管在合作评估的力量和潜力方面存在一些差异，但项目从业者和评估人员对合作评估的看法和意见不断趋于一致，这进一步使得合作性评估的科学性和统一性的到支持。

综合来看，在不同学者的表述中利益相关者是合作性评估过程的核心词汇。理解合作性评估就要理解评估过程中的利益相关者。利益相关者掌握着关于被评估项目的知识，对于项目文化背景的熟悉远胜于评估专家，评估专家对于项目的了解可能仅限于文件材料，他们对项目的立场不是“客观的”，评估者的角色是为了促进项目的成功，更确切地说，评估专家更应该是“中立的”，因为它不在合作过程中偏袒任何一方。然而利益相关者在评估知识方面无疑是欠缺的，他们通常不熟悉评估程序，并且一部分参与评估的基层人员与项目工作人员等其他利益相关者相比权力较小。因此实现一个无限逼近事实的科学评估，基础要求便是需要评估专家和项目内外的相关人员进行充分合作，评估专家也需要抱着合作的态度将利益相关者纳入项目评估过程，充分利用他们掌握的项目知识，使得评估结果被采纳更具有科学性。这种与利益相关者的合作强调从了解项目运行到评估规划及实施以及形成最后的评估结果都要进行系统的邀约，合作性评估的组成就是由评估过程的利益相关者进行有机合作。我们可以将合作性评估综合理解伟一种项目利益相关者积极参与整个评估过程，利用他们的技能、资源与专业评估人员的评估知识进行共同合作并共同承担责任，以熟悉环境、收集数据、获取信息、汇集各方观点，提高评估人员对项目的理解，最终形成有效的评估结果且评估结果将得到高效利用。

为了更好理解合作性评估的内涵，这里介绍一部分在国外已经得到较多关注的实践案例，这些案例研究对合作性评估理论的检验进一步丰富了合作性评估的理论前景，也对我们借鉴和使用相关理论提供了经验。Sarah Bowen和同事们在是加拿大卫生研究的资助下进行了名为“需要知道”项目，其目标旨在纳入社区伙伴参与规划、开发和评估项目的各个方面，满足研究方面的迫切需求，以支持农村/北部地区卫生当局的决策，并进一步促进和发展合作研究模式，这一长达5年的项目包含了卫生政策中心(MCHP)学术研究单位专业人员、马尼托巴10个农村的村民、北部区域行政区和马尼托巴卫生部的政府官员以及邀请的外部评估人员，通过来自不同方面的项目人员与评估人员的合作，在对项目调查过程中不断交换信息，进行多次阶段评估活动，最终评估人员和项目利益相关者建立了稳固的伙伴关系，最终的评估结果也得到了加拿大卫生研究所的肯定，为下一步决策提供了参考。这一案例充分强调了研究人员和社区伙伴之间持续合作和持续的伙伴关系对评估和合作研究的重要性 [13] 。Brandon在其研究中描述了一项受益人参与的研究，以确定无家可归儿童的教育问题并确定其优先顺序。在这项研究中，教师、无家可归者收容所提供者和家长(项目受益人)这三个利益相关者群体参与了评估。由于家长在评估利益相关者中权力较小，该研究努力让项目其进行公平参与从而帮助他们增加权力，最后这一努力的结果表明父母作为项目受益人的公平参与有助于提高评估结果的有效性 [14] 。以上两个案例都较为成功，然而奥沙利文在其研究中介绍了苏丹开展的一项合作评估研究确由于后续持续投入不足而草草收尾。2006年6月和7月，一个外部专家小组通过国际开发署项目抵达苏丹南部的耶伊，为当地的一个农业发展项目提供支持，国际开发署的项目旨在通过帮助当地生产商了解当地市场资源，希望农业生产能够根据可能存在的市场信息重新开始，重新激发当地经济生活，使他们能够就应该种植的作物做出经济合理的决定，评估工作主要是确定乌干达朱巴、耶伊和阿鲁阿走廊沿线的批发商和运输商，以便农民能够与他们建立联系，以支持合理的农业生产决策，其中包括了国际开发署工作者、苏丹政府官员、国际外评估人员、农民、商人、运输人员以及当地大学生，最终该项评估为生产者、政府官员和其他有兴趣刺激农业贸易的人创建了一个市场使用目录，但是这一目录却由于后续投入不足而没有得到进一步发展 [15] 。这一案例也支持了合作性评估中利益相关者参与评估过程的重要性。

(二) 合作性评估模型(MCE)

国外关于合作性评估研究已经取得了相对成熟的成果，最直接的体现就是已经建立起包含不同组成部分和要件的合作性评估模型(the model for collaborative evaluations)以及评估技术，不同的学者设定的评估流程以及评估内容略显不同，例如在前文加拿大的案例中所进行的五项核心评估活动包括：a) 保密的关键线人访谈，b) 测试前和测试后调查，c) 过程文档，d) 参与者观察，以及e) 团队会议的书面评价 [12] ，而海克斯的研究中将合作评估模型设置了六个相互依存的组成部分：a) 确定情况，b) 明确期望，c) 建立集体承诺，d) 确保沟通是公开的，e) 鼓励有效的做法，以及f) 遵循具体的指导方针 [16] 。凡此种种，各有不同。一般来说，评估周期分为四个步骤：评估项目状态、制定评估计划、实施评估、分享评估结果 [1] ，而利益攸关方在整个过程中都参与其中。

这里着重介绍一个由罗德里格斯及其同事开发的包含六个部分共28项内容的综合框架，主要是确定情况、明确预期、确立集体承诺、确保开放式交流、鼓励有效的做法、遵循具体的指导方针这六个部分，这也是后续进行指标探索性简化的基础模型。之所以选择该模型，主要理由是该模型具有系统结构——具有独特目的的相互依存的要素——通过制定和实施合作评估为决策提供了基础，其次该模型的新颖性在于其每个要素(组件和子组件)影响其他要素的方式，从而影响整体协作评估(规划、执行和报告)，这是相较于其他模型更完善和自洽之处，因此在该模型基础上进行新的探索至少在完整性层面可以得到保证。其主要内容为：

1、确定情况——这种情况是正式和非正式情况的结合，由围绕和维持评估的关系决定。这种情况为接下来的合作评估奠定了基础。该组成部分分为以下子组成部分或因素：a) 确定利益相关者；b) 识别逻辑模型元素；c) 确定潜在的SWOT (优势、劣势、机遇和威胁)；d) 确定评估范围例如，评估问题、工作分解结构)；以及e)确定关键的评价活动。

2、明确期望——期望是指对合作评估结果的预期。它们是关于评估和参与评估的人的假设、信念或想法。明确期望意味着确保每个人都了解哪些问题必须解决，以及实现预期结果的最佳方法。该部分分为以下子部分：a) 明确评估者的角色；b) 明确合作成员的作用；c) 明确评估标准和标准；d) 明确评估过程；以及e) 澄清评价预算。

3、建立集体承诺——集体承诺是在没有持续外部监督的情况下，以道德歧视的方式共同履行评估义务的妥协。该组件分为以下子组件：a) 建立共享的评估愿景；b) 制定积极行动建议；c) 建立解决冲突的手段；d) 制定决策程序；以及e) 建立奖励选项。

4、确保开放式沟通——沟通是一个社交互动过程(如说、听、写)，用于传达信息和交换想法，以影响合作评估中的具体行动。该组件分为以下子组件：a) 确保积极参与；b) 确保认真倾听；c) 确保信息清晰；d) 确保即时反馈；以及e)确保变革的必要性是合理的。

5、鼓励有效的实践——有效的实践是在合作评估中产生预期效果的健全的既定程序或系统。这一部分分为以下子部分：a) 鼓励欣赏个体差异；b) 鼓励公平和真诚；c) 鼓励制定基准；d) 鼓励以身作则；以及e)鼓励灵活性和创造性。

6、遵循具体的指导方针——指导方针是指导合作评估、评估人员和CM的设计、使用和评估的原则。该部分分为以下子部分：a) 遵循评估人员的指导原则；b) 遵循评估标准；以及(c)遵循合作指导原则。

3. 基于AHP法的评估模型改进

(一) 层次分析法

层次分析法(AHP法)是由美国匹兹堡大学教授T.L. Saaty在20世纪70年代中期提出的，它是将复杂问题分解为多个组成因素，并将这些因素按支配关系进一步分解，按目标层、准则层、指标层排列起来，形成一个多目标、多层次的模型，形成有序的递阶层次结构 [17] 。该方法将定量分析与定性分析结合起来用决策者的经验判断各衡量目标能否实现的标准之间的相对重要程度，并合理地给出每个决策方案的每个标准的权数，利用权术求出各方案的优劣顺序，其本质属于一种主观赋权法。

目前在各个领域利用层次分析法进行研究已经形成了较多成果，基于AHP进行的相关研究使得AHP法已成为绩效评估等领域中理论研究较受欢迎的方法，例如孙涛等学者进行了关于高校教师绩效考核体系构建的研究 [18] 。王慧杰等学者关于新安江流域生态补偿政策绩效评估的研究 [19] ，于宗绪等关于城市水环境治理PPP项目绩效评价的研究 [20] 等等，这些研究对AHP法的使用都具有极大的启发意义，值得后续研究借鉴学习。尽管层次分析法应用广泛，但是将AHP法运用于评估模型改进的研究却还未有相应成熟的文献，因此文章的创新点正在于此。

文章主要是在以往学者研究基础上综合其运用过程，对AHP法进行适合研究目的选取运用。在文献梳理的基础上，将合作性评估模型转换成层次结构模型，如表1。

表1. 合作性评估层次结构

(二) 实证分析

依照本研究的评估指标体系，首先，最上面一层为目标层，即改进合作性评估模型；其次，为6个准则层(一级指标)，即原模型的六个组成部分；最后为方案层(二级指标)共28项指标，也即子准则层。

运用层次分析法的分析思路是：首先，运用德尔菲法邀请绩效评估领域的专家分别对各个方案的重要性程度和实际考虑进行打分，共得到5份赋值表，通过计算可得各方案层的算数平均分。其中，专家赋值的重要原则是结合我国以往评估研究和实践中的侧重点，要求在中国场域下能够确保符合评估现状；其次，构建各自的判断矩阵，进行层次单排序及一致性检验，最后再进行层次总排序和一致性检验，筛选出优化后的各项指标，以对原模型进行符合本土化的探索性改进。在合作评估模型基础上逐个构建判断矩阵，再逐一计算各个矩阵的最大特征值、特征向量，然后再求出所设置的三级指标到二级指标、二级指标到一级指标的权重，若各个矩阵的计算结果均通过一致性检验，则表示各个指标的对比判断能够满足一致性要求 [19] 。

根据合作性评估层次结构按照相对重要性构建判断矩阵，分别构建目标层与准则层(表2)、准则层与方案层(一级指标和二级指标)两两比较的判断矩阵，共7个判断矩阵。计算结果均保留四位或六位小数，结果见表2所示。

计算公式 ${\lambda }_{\max }={\displaystyle \underset{i=1}{\overset{n}{\sum }}\frac{\left[AW\right]}{n{w}_i}}$

一致性检验 $CI=\left(\lambda -n\right)/\left(n-1\right)$ $CR=CI/RI$

表2. 目标层与准则层判断矩阵

按照层次分析法的求解顺序，进行判断矩阵的按列归一化“列求和、行平均”得到单排序权重，结果见表3。经过计算CR = 0.0032 < 0.1，通过一致性检验能够满足一致性要求。

表3. 判断矩阵归一化结果

依照上述操作，对二级指标的6个判断矩阵分别进行相似计算，同理可得各个矩阵的特征向量ω，最终得到各指标权重，结果见表4。

基于AHP法计算得出了原合作性评估模型各层次指标及其权重排序，从一级指标层次看，权重排序为X1确定情况、X6遵循具体的指导方针、X2明确期望、X4确保开放式沟通、X3建立集体承诺、X5鼓励有效的实践；在各个一级指标下，各二级指标的权重排序也已计算出。

按照权重排序结果，合作性评估模型的各项内容按照权重排序在进行中国化探索改进有了定量数据的支持。第一，在确定情况这一组件中，确定利益相关者、确定评估范围和确定关键的评价活动是重要的指标，确定潜在的SWOT是相对重要的指标，予以保留，识别逻辑模型元素这一指标综合权重相对较小，进行情景化剔除。第二，在明确期望组件中，澄清评价预算综合权重最高，这与实际评估活动中预算规模大小和评估活动规格大小的相关关系能够达成一致，另一方面，可能由于评估者在实际项目评估中评估者的角色从项目开始便以得到确定，因此剔除明确评估者的角色这一较低权重指标符合评估实践活动，可以通过。第三，在建立集体承诺组件中，建立奖励选项相较于其他指标明显权重过小，予以剔

表4. 基于AHP法的各指标权重

除。第四，在确保开放式沟通组件中，五项指标均在总排序中权重较大，都超过了0.02，其中确保信息清晰权重最大，确保积极参与权重最小，但是相较于其他组件中的的权重较小的指标，可以考虑遵照保留五项指标。第五，在鼓励有效实践组件中，鼓励制定基准、鼓励以身作则、鼓励灵活性和创造性这三项指标的权重较大，而鼓励欣赏个体差异和鼓励公平和真诚在综合权重上小于0.015，这在一定程度上是由于合作评估实践活动规则内在地就蕴含着评估人员和项目工作人员的合作，一般来说专家学者的评估知识和意见更具备权威性和参考性，同时如果没有项目工作者成功参与，评估活动亦无法开展，因此可以剔除。第六，在遵循具体的指导方针的组件中，三项指标的综合权重都大于了0.05，这表明遵循评估人员的指导原则、遵循评估标准、遵循合作指导原则在评估活动中已经得到重视。

综上所述，经过改进后的合作性评估框架在原来六个部分共28项条件的基础上变为六个部分共23项内容，按照重要性重新进行排序，最终模型见图1。

图1. 基于AHP法的合作评估模型

4. 结论

合作性评估已经在国外得到了较好发展，这与国外评估学科发展息息相关，随着评价学的研究深入，一些新的评估方法、评估技术以及评估模型不断更新迭代。虽然国内学界也在不断发展自己的评估学科并取得了丰硕的研究成果，但关于合作评估的学术结晶还难以寻见，因此本研究在国外学者所开发的合作评估模型基础上，尝试性地运用AHP法进行符合中国场域的改进，以期望为合作性评估能够在中国落地实践进行一点点探索。层次分析法(AHP法)是一种定量和定性结合的主观赋权法，文章在借鉴前人研究的基础上运用该方法对原模型进行了重要性排序和内容优化。由于理论基础和学术训练的不足，文章对AHP法的运用还停留在浅层，同时对合作性评估模型的探索性改进具有局限性，但对于合作性评估研究以及相关模型的尝试性本土化具有些微进步。

经过改进后的合作性评估模型共六个部分，包括了确定情况、明确预期、确立集体承诺、确保开放式交流、鼓励有效的做法、遵循具体的指导方针，经过AHP法权重计算和一致性检验，按照各项二级指标的综合权重再结合文献基础最终对每一部分下的具体内容进行筛选并按照重要性重新排序，实现对合作性评估模型的改进简化。第一，在确定情况中，依次重要的内容是确定利益相关者、确定评估范围、确定关键的评价活动、确定潜在的SWOT；第二，在明确预期的要件中，澄清评价预算最重要，其次分别是明确合作成员的作用、明确评估标准和标准以及明确评估过程；第三，确立集体承诺主要包括建立共享的评估愿景、制定决策程序、建立解决冲突的手段、制定积极行动建议四项内容；第四，确保信息清晰、确保即时反馈、确保变革的必要性是合理的、确保认真倾听、确保积极参与这五条构成了确保开放式交流所要完成的工作；第五，鼓励有效的做法需要先鼓励评估人员重视制定基准再以身作则和具备灵活性和创造性；第六，评估工作需要遵循评估标准、评估人员的指导原则和合作指导原则。

文章引用

李嘉俊. 基于AHP法的合作性评估模型探索性简化
Exploratory Simplification of Collaborative Evaluation Model Based on AHP[J]. 运筹与模糊学, 2023, 13(05): 5316-5325. https://doi.org/10.12677/ORF.2023.135533

参考文献