ABSTRACT

The comprehensive PBL education quality evaluation of university engineering practice is a practical requirement to change the view of engineering education quality, establish the operational evaluation system and promote the reform of engineering innovative talents cultivation. Taking the problem-solving learning as the guidance, from evaluation factors of PBL education quality of engineering practice, and based on the fuzzy mathematics theory, we construct the fuzzy evaluation models of practice object, practice content, practice input, practice process, practice effects, accessibility improvement and portability, and form a PBL education quality dynamical evaluation system of practice background, input, process, and results of engineering practice. In addition, a specific PBL education quality evaluation case is discussed by using fuzzy evaluation method.

Keywords:Engineering Practice, PBL Education Quality, Fuzzy Evaluation, Evaluation Model

高校工程实践PBL教育质量模糊综合评价模式的探索与实践

徐向阳，曹源文，陈仁祥

重庆交通大学机电与车辆工程学院，重庆

收稿日期：2017年6月16日；录用日期：2017年6月30日；发布日期：2017年7月5日

摘 要

高校PBL工程实践教育质量综合评价是转变工程教育质量观、建立可操作性评价模式、促进工科人才创新培养机制改革的现实要求。坚持以问题解决型学习为导向，从工程实践PBL教育质量的评价因素着手，运用模糊数学理论，构建出实践环境、输入内容、实践过程、输出结果、可改进性和可移植性六个方面的模糊评判模型，形成完整的工程实践PBL教育质量评价模式，实现对工程实践PBL教育中环境、输入、过程、成果四种类型的相互关联动态质量评价，并通过具体案例对工程实践PBL教育质量模糊综合评价模式进行应用探讨。

关键词 :工程实践，PBL教育质量，模糊评判，评价模式

Copyright © 2017 by authors and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY).

http://creativecommons.org/licenses/by/4.0/

1. 引言

中国制造2025规划及教育部“卓越工程师教育培养计划”对交通机械类等交通工程技术人才实践能力和创新能力培养提出更高要求 [1] 。刘延东副总理也于2016年国务院学位委员会第三十二次会议上提出要加快健全教育内部质量评估和监督保障体系，提高工程专业学生创新能力和实践能力 [2] 。为响应国家大的方针战略，国内各高校目前对校内外的教育评价理论与实践实施大量改革来应对外部和内部的挑战 [3] [4] ，但目前的工程教育改革实践主要集中在教育教学方法本身，对教育质量的评级体系研究较少，更缺乏相关的工程实践PBL (问题导向型教学)教育质量有效评价模式可加以移植利用 [5] [6] 。在这一背景下，围绕交通工程类学生创新能力培养和实践能力培养的工程实践教育发展需要，开展学生的工程实践教育质量评价模式探索，已成为当下高校工程创新型教育改革所面临的重要命题之一。

2. 工程实践PBL教育质量综合评价内涵

PBL是基于建构主义教育理念发展起来的一种创新型教育模式 [7] [8] 。在工程实践PBL教育模式中，学生需要从工程实践的实际问题出发，在对工程实践所设定问题分析的基础上，进行主动探索、问题发现、问题分析并创造性地进行问题解决，这里需要学生自主探究，相互合作。而对工程实践PBL教育质量综合评价，概括起来而言就是在学生从过去到现在的认知和实践基础上，进行总结、回顾和判断。对于高校工程实践PBL教育质量评价而言，高校工程实践PBL教育的具体执行包含了实践过程中的PBL问题设置、训练环境、组织形式、方案认证、过程实施、实践结果及后续改进、推广及移植等各个环节。这就迫切需要根据工程实践的环境、内容、过程和结果四方面进行评价。

另一方面，在对工程实践PBL教育质量进行评价时，不仅要从基本原则出发，还要明确评价的内容、组成以及权重。评价原则是评价体系的出发点，评价时需重点把握公平性原则、目标性则和可行性原则。1) 公平性原则。对于工程实践PBL教育质量评价要讲究实证和数据科学，对不同目标评价时要利用科学方法进行标准统一，同一目标评价时要多途径数据搜集，做到客观公正。2) 目标性原则。工程实践PBL教育评价体系构建的内部动因主要在于学生知识能力的提高，外部动因主要在于探寻满足社会人才需求的工程实践训练模式。内外动因确定了评价的主要目标是要建立以学生为中心的工程实践课程结构和实践环境，在质量和数量两方面提升学生综合素质。3) 可行性原则。工程实践PBL教育质量评价作为校方的常规工作，从大三开始每学期均会涉及相关工程实践教学评价。这就要求评价体系运行时既要能顺利执行、易于操作，又要具备科学性；既可对工程实践输出结果进行判定的同时，又能指导后续工程实践的优化革新，减少不必要的浪费。

3. 工程实践PBL教育质量模糊综合评价模式层次架构

3.1. 评价内容与评价指标构建

基于工程实践PBL教育质量综合评价内涵，以项目的选择与改进作为工程实践PBL教育质量评价模式构建的思想导向，把综合评价模式构建中的具体评价内容分为项目实施的四个部分：环境、输入、过程、成果与项目后处理的两个部分：可改进性、可移植性。这六部分内容构成评价模式的六个基本元素，它们之间的关系如图1所示，内圈代表的是核心，它的作用是提供基础评价。圆圈周围的值分为四个评价重点，它们存在于任何工程实践PBL教育程序过程：目标、计划、实施和结果。在该评价模式中，通过环境评价来评定需求、问题与机遇，并作为输出结果的目标、优先级和价值判断的基础，输入评价主要评定在做方案规划与资源合理分配时的可选择途径，过程评价主要评定项目实施过程及之后的项目结果现象的判断解释，输出评价主要用来评定项目结果预期契合度或是非计划性的结果，同时也可以帮助完成项目进程追踪或效果确定，项目过程和效果评价的结果可作为输入的改进依据，同时，由于项目各部分评价的内容具有可选择性，评价结果可为项目移植提供数据参考。

依据评价内容，把工程实践PBL教育项目实施质量划为一级评价指标，并可根据关注对象的不同，一级指标可以有所偏重。对工程实践PBL教育评价主要可分为背景环境、输入内容、过程、输出结果、可改进性和可移植性六个二级指标。在每一个二级评价指标里边，包含了访谈调查、PBL实践大纲、文献综述报告、学生实践日记/报告成绩、企业导师/工作人员评价，实践过程记录数据、学生现场问答记录、PBL小组发言、图片/影像记录、总结报告书/任务测试成绩、实践产出成果等多个三级评价指标，当然，这些三级指标也可以根据具体的使用环境来进行增减。

由于评价模式中各级评价指标的评价尺度有很大不同，且各指标数学上具有模糊性，因此可采用模糊数学中的模糊评判法对各评价指标进行多因素评价 [9] 。

3.2. 评价模式的赋权与多级模糊综合评价设计

工程实践PBL教育的教育质量为评价模式的主体内容，但评价模式中的各类指标在实际应用中并不完全对等，需要根据应用的对象和使用的环境进行权重赋予。基于研究对象的特点，可采用当前通用的层次分析法(AHP)对各指标进行赋权，根据专家打分结果，对结果取平均值，构建准则层比较判断矩阵，最后对判断矩阵进行一致性检验，得到每个指标的权重。

同时，由于评价模式中的各评价指标采用的是多因素综合评价，需要采用一定的数学方法将个评价因素转化为统一的综合评价值。为建立各指标的多因素模糊评判模型，以评价因素作为模糊变量，将各评价指标按照评价因素进行分类，再将评价因素分为多个因素等级。各评价因素的模糊性是通过隶属函数来表征。隶属函数指的是在完全许用到完全不许用的中间过渡区内，隶属度Uij的分布情况。常用的如正态分布的隶属函数描述，以及梯形直线型分布等。

确定评价指标模糊评判的备择集时，应设计评判对象的每一个截集λ，根据评价对象的不同设计条件及要求合理离散为p个值，按一定的等值/不等值步长进行离散，形成备择集λ={λ(1)，λ(2)，…，λ(n)}。

在确定评价因素类权重集时，应依据评价因素，建立因素等级权重集，为准确反映各因素对评判对象λ的影响，应赋予各因素相应的权重A，确定因素类权重集。接下来建立第n个二级评价指标U_n的隶属度。然后就可以根据每个三级评价指标下的因素等级模糊隶属度评分以及二级指标下所有三级指标权重的乘积，建立一级模糊评价矩阵B1={B1(1), B1(2),…, B1(n)}，实现对二级指标的评价；然后再根据一级指标下的二级指标权重和一级模糊评价矩阵的乘积建立二级模糊评价矩阵B2={B2(1), B2(2),…,B2(n)}，实现对一级评价指标的评价。

采用基于最大接近度原则的最优水平截集法，利用一级或二级模糊综合评价方法确定最优水平值

，将模糊优化模型转化为最优化水平截集上的常规优化评价。需要分别建立因

素集、备择集、因素权重集、因素等级权重集，并确定评判数学模型，因此计算出最优置信水平λ^*，与备择集λ中的元素进行对比，根据最大接近度原则，得出评价结果处于什么样的等级水平，并可根据需要选择不同的二级评价指标的评价结果，得到各指标下的项目选择/改进方案。

4. 基于模糊综合评价法的工程实践PBL教育质量评价应用探讨

4.1. 工程实践PBL教育质量模糊综合评价

为阐述工程实践PBL教育质量模糊综合评价应用，这里结合重庆交通大学机电学院发动机组装PBL工程实践项目来进行应用探讨。发动机组装PBL实践中机械装置原理及构造方面的问题提出及解决贯通整个实践的全部过程。具体来说，在该工程实践PBL教育测评中，每6个学生被组织在一个小组，为他们提供了1名企业导师。发动机的理论知识和专业知识需要每组自己提前准备，并提出拆装过程中的相关问题，并在具体实施过程中自己解决，导师仅给出参考意见，不直接给出结果。对每个拆装步骤的设计及结果评价需要学生自己完成。采用模糊综合评判的截集法确定发动机组装PBL教育质量备择集中优秀级A+和A−、优良级B+和B−、良级C+和C−、一般级D+和D−、差级E+和E−的截集水平λ分别为0.95、0.90、0.85、0.80、0.75、0.70、0.65、0.60、0.55、0.50。

评价体系中所有的三级指标评价因素等级分为五个等级，对应的模糊评价标准为：a好为90~100分，b较好为80~90分，c一般为70~80分，d较差为60~70分，e差为60分以下。其各项二级指标评价因素等级标准如下：访谈调查中对PBL实践教学思路能很好理解并做好PBL问题知识点准备的评价因素等级为a，对PBL实践教学思路理解并对PBL问题知识点准备较好的评价因素等级为b，能对PBL实践教学思路大部分理解并对PBL问题知识点做准备的评价因素等级为c，对PBL实践教学思路较熟悉并对PBL问题知识点做部分的评价因素等级为d，对PBL实践教学思路不熟悉并对PBL问题知识点准备较差的评价因素等级为e；PBL实践大纲熟悉很好的评价因素等级为a，基本熟悉评价因素等级为b，大部分熟悉评价因素等级为c，一般了解评价因素等级为d，不了解评价因素等级为e；文献综述报告中论论述较完整、资料齐全的为a，论述基本完整的为b，论述正确但资料准备一般的为c，论述一般或资料准备较少的为d，无论述或资料严重缺乏的为e；学生实践日记/报告成绩中大于等于90分的评价等级为a，大于等于80分的为b，大于等于70分的c，大于等于60分的为d，低于60分的为e；企业导师/工作人员评价中对于学生自己独立动手完成的评价等级为a，指导完成的评价等级为b，辅助动手完成的评价等级为c，示范后辅助动手完成的评价等级为d，最终没有完成的评价等级为e；实践过程记录数据清晰准确的评价为a，较准确的评价等级为b，基本记录的评价为c，记录大部分的评价等级为d，记录量较少或无记录的为e；学生现场问答记录中回答正确、很好达到实践效果的为a，回答教正确、较好达到实践效果的为b，回答一般、主要部分达到实践效果的为c，回答不完整、部分达到实践效果得为d，回答较少、较少达到实践效果的为e；PBL小组发言中学生对知识点完全掌握的为评价等级为a，知识点基本掌握的评价等级为b，知识点大部分掌握的评价等级为c，知识点掌握一般的评价等级为d，知识点掌握较少的评价等级为e；图片/影像记录内容中善于思考，能抓住实践本质的为a，记录内容能完成表达实践效果的为b，记录内容表达实践效果一般的为c，记录内容能大部分表达实践效果的为d，记录内容较少表达实践效果的为e；总结报告书/任务测试成绩中大于等于90分的评价等级为a，大于等于80分的为b，大于等于70分的c，大于等于60分的为d，低于60分的为e；实践产出成果中对于论文专利大于等于3篇评价等级为a，大于等于2篇评价等级为b，大于等于1篇评价等级为c，1篇尚未完稿的评价等级为d，无论文专利的评价等级为e。

根据教学大纲及卓越工程师教学培养执行计划，该项目的执行重点是教学大纲和教学计划的完成度和在经费有限的情况下的项目改进性以及项目可移植性。依据学院教授委员会15名专家打分评定结果，对结果取平均值，构建准则层比较判断矩阵，最后对判断矩阵进行一致性检验，得到每个指标的权重{0.06，0.33，0.09，0.18，0.21，0.13}。根据实际数据记录及文档材料等评价材料，同样的采用15名专家打分方式，对发动机组装实践的环境背景、输入内容、实践过程、输出结果、可改进性及可移植性分别计算出处于置信水平的λ^*值分别为0.942、0.885、0.837、0.917、0.735、0.924，根据最大隶属度法(或加权平均法)，取与最大评判指标λ^*对应的各个备择集λ中与λ^*最接近的元素，确定出实践内容、输入内容、实践过程、输出结果、可改进性与可移植性评价结果分别属于A+级、A−级、B+级、A−级、C+级、A+级。

4.2. 评价结果讨论

以下讨论了评价过程中的访谈调查、学生实践日记、企业评价、实践报告、小组讨论和会议记录文件，它们均是根据评价模型的四个因素进行组织的。

在工程实践PBL教育的背景环境及目标方面的模糊评判结果为A+级。三级评价指标显示，PBL教育环境和目标能明显地影响学生的动机及目标，特别是当他们正在处理的问题来自于现实对象时，评判结果显示学生不十分清楚采用PBL实践模式的原因。但他们均表现出对实践中PBL教育实践意义的良好理解，并对新的实践项目和企业导师的关系感觉舒适，学生自发地提到了PBL培养目标更清晰。

在工程实践PBL教育的输入内容讨论方面，模糊评判结果为A-级。对测评结果分析发现，在PBL教育计划开展阶段，企业配合给予了适当的基础设施和设备资源，但在实践内容安排上忽视了学生零部件知识的综合应用，造成学生对部分实践内容的不熟悉。

在工程实践PBL教育的过程与输出结果方面，过程的模糊评判结果为B+级，而输出结果的模糊评判为A-级。对模糊综合评判结果分析表明，在PBL项目实施过程部分，最薄弱的是学生对零部件认知过程，对于接近30%的学生来说，最简单的过程是按步骤执行，没有把问题带入到发动机组装实践中来，同时有23%学生相信，困难需要在老师的指导下可以完成，不需要自己动脑、动手。在输出结果部分，对企业导师和学生访谈记录以及学生考核成绩的分析表明，学生在知识掌握、问题探索等方面有明显收获，并且总体上都对PBL方法感到满意，企业导师对学生的技能掌握及主动性也给与了较高评价。

在工程实践PBL教育可改进性方面，模糊评判的结果为C+级。对评价结果分析发现，改进性评价中需要面对的主要困难是实践团体的规模、每个项目的规模以及项目经费，需在规划新项目时做出一些调整；此外，由于风格和重点各不相同，实施过程中出现了一个相关的非预期结果，参与实践的组织人员增加实践协调员来进行协调工作。工程实践PBL教育可移植性评价结果为A+级，结果分析表明，每个主题的项目相关性，结合书本课程中开发的知识、技能和能力服务项目，以及适当的评价工具是项目移植的重点内容；此外，实践过程文件及图像记录，是进行该PBL项目移植的基础。

5. 结语

构建新型高校工程实践PBL教育质量模糊综合评价模式，需要把握PBL工程教学宗旨，坚持问题解决型学习为导向，在工程实践PBL教育质量评价内涵和评价原则的基础上，建立实践环境、内容输入、实践过程、实践效果、可改进性和可移植性六个方面的多级模糊评判模式的评价指标，进而建立多类别评价因素集和隶属度模糊评判数学模型，通过定性分析与定量分析相结合，理论联系实际，实现高校工程实践教育的可测量化，预防培养目标的偏离，并为校方的工程教育的移植和改进提供借鉴和参考。

基金项目

重庆市高等教育教改研究重点项目“基于PBL的交通机械类人才工程创新培养实施策略研究与实践”(152022)。

文章引用

徐向阳,曹源文,陈仁祥. 高校工程实践PBL教育质量模糊综合评价模式的探索与实践
Exploration and Practice of Fuzzy Comprehensive Evaluation Model for PBL Education Quality of University Engineering Practice[J]. 教育进展, 2017, 07(04): 162-167. http://dx.doi.org/10.12677/AE.2017.74026

参考文献 (References)