在疫情防控背景下,线上教学质量评价对提高教师的教学能力和学生的学习效果具有重要的现实意义。然而,当前的高校线上教学质量评价具有可操作性的方法较少,没有充分考虑评价等级的模糊性。为此,给出了一种操作性强的线上教学质量模糊综合评价方法。首先,通过文献梳理,建立了线上教学质量评价指标体系。其次,结合层次分析法,得到了不同层次的指标权重。再次,结合模糊数学理论,给出了一种线上教学质量模糊综合评价方法,并以某高校为例进行了实证分析。最后,基于实证结果,给出了若干建议,以期促进高校线上教学质量的改进和提升,也为高校教学管理部门提供决策参考。 In the context of epidemic prevention and control, online teaching quality evaluation has important practical significance for improving teachers’ teaching ability and students’ learning effect. However, there are few operational methods for online teaching quality evaluation in colleges and universities, and the fuzziness of evaluation level is not fully considered. Therefore, a practical fuzzy comprehensive evaluation method for online teaching quality is presented. Firstly, an online teaching quality evaluation index system is established through literature review. Secondly, combined with the analytic hierarchy process, the weights of different levels of indicators are obtained. Thirdly, combined with fuzzy mathematics theory, a fuzzy comprehensive evaluation method of online teaching quality is given, and an empirical analysis is carried out by taking a university as an example. Finally, based on the empirical results, some suggestions are given in order to promote the improvement and promotion of online teaching quality in colleges and universities, and to provide decision-making reference for the teaching management departments of colleges and universities.
在疫情防控背景下,线上教学质量评价对提高教师的教学能力和学生的学习效果具有重要的现实意义。然而,当前的高校线上教学质量评价具有可操作性的方法较少,没有充分考虑评价等级的模糊性。为此,给出了一种操作性强的线上教学质量模糊综合评价方法。首先,通过文献梳理,建立了线上教学质量评价指标体系。其次,结合层次分析法,得到了不同层次的指标权重。再次,结合模糊数学理论,给出了一种线上教学质量模糊综合评价方法,并以某高校为例进行了实证分析。最后,基于实证结果,给出了若干建议,以期促进高校线上教学质量的改进和提升,也为高校教学管理部门提供决策参考。
线上教学,高校,质量评价,层次分析法,模糊综合评价
Jiqiang Chen, Lina Zhang, Feng Zhang, Jingjing Li, Zhixin Li*
School of Mathematics and Physics Science and Engineering, Hebei University of Engineering, Handan Hebei
Received: Oct. 13th, 2021; accepted: Nov. 12th, 2021; published: Nov. 22nd, 2021
In the context of epidemic prevention and control, online teaching quality evaluation has important practical significance for improving teachers’ teaching ability and students’ learning effect. However, there are few operational methods for online teaching quality evaluation in colleges and universities, and the fuzziness of evaluation level is not fully considered. Therefore, a practical fuzzy comprehensive evaluation method for online teaching quality is presented. Firstly, an online teaching quality evaluation index system is established through literature review. Secondly, combined with the analytic hierarchy process, the weights of different levels of indicators are obtained. Thirdly, combined with fuzzy mathematics theory, a fuzzy comprehensive evaluation method of online teaching quality is given, and an empirical analysis is carried out by taking a university as an example. Finally, based on the empirical results, some suggestions are given in order to promote the improvement and promotion of online teaching quality in colleges and universities, and to provide decision-making reference for the teaching management departments of colleges and universities.
Keywords:Online Teaching, Colleges and Universities, Quality Evaluation, Analytic Hierarchy Process, Fuzzy Comprehensive Evaluation
Copyright © 2021 by author(s) and Hans Publishers Inc.
This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).
http://creativecommons.org/licenses/by/4.0/
随着新冠疫情的爆发,各大高校的线下教学工作受到了一定程度的影响。为确保教学工作的顺利开展,各大高校积极开展了线上教学活动,广大教师迎难而上,利用现代信息技术指导学生居家线上学习,保证了疫情期间的教学进度和安排,实现了“停课不停教、停课不停学” [
对线上教学质量评价指标体系的研究,薛宁和杨晓冬 [
关于教学质量评价方法的研究方面,徐世强 [
尽管诸多学者对教学质量的评价体系和评价方法开展了相关研究,但是目前关于高校线上教学质量评价还不是很成熟。通过文献梳理分析发现,目前关于高校线上教学质量评价具有可操作性的方法较少,没有充分考虑评价等级的模糊性。为此,本文以某高校的线上教学为例,结合易于操作的层次分析法(Analytic Hierarchy Process, AHP),用模糊集描述各指标的评价等级,构建了一种线上教学质量的模糊综合评价方法。
通过相关文献 [
1) 平台资源是高校线上教学的前提和基础,可分为课内与课外两方面。课内平台资源主要包括线上课程视频、课程PPT、线上课程用题等,课外平台资源主要包括平台稳定性、网络的畅通性等。通过这些课内课外平台资源可以给学生提供较为舒适的线上教学环境,提升学生线上学习的积极性和便捷性。
2) 教学管理作为教学的一个重要环节,无论是对线上教学还是线下教学都十分重要。对于线上教学而言,这主要包括线上教学平台的支持与培训、线上教学管理制度的规范性和线上教学过程的督导等方面。
3) 教学过程是评价线上教学质量的重要内容,主要包括线上教学内容、教学方法、教学参与度和教师的应变能力。教学内容涉及知识点的深度和广度,是教学过程中传递的主要信息。教学方法包括教师教的方法(教法)和学生学的方法(学法),是教法与学法的统一。由于线上教学环境较为特殊,需要教师的教法和学生的学法做出相应调整和改变。教学参与度主要是指学生线上教学过程中的有效交流互动情况,一方面体现着教师教的水平,另一方面也影响着学生学的质量。教师的应变能力是指教师处理教学过程中临时突发问题的能力。教师若能够巧妙地对学生进行启发与引导、因材施教,则对提升教学质量有很大帮助。
4) 教学效果是指线上教学内容取得的教学成效,主要根据学生对知识的掌握程度、对作业的完成程度以及在学习过程中能否进行学习反思等方面来体现。
基于上述分析,本文围绕这4个方面构建了高校线上教学质量的评价指标体系,如表1所示。
目标层U | 准则层A | 指标层B | 指标解释 |
---|---|---|---|
高校线上 教学质量 | 平台资源A1 | 资源的多样性与共享性B11 | 平台的课程资源是否共享可用,是否能够提供课程外的预习、复习等功能 |
平台稳定性和网络畅通性B12 | 网速能否提供大量的流量需求 | ||
平台的可获取性B13 | 平台能否普及到所有学生 | ||
教学管理A2 | 教学技术支持与指导B21 | 线上教学技术支持、教学理念指导 | |
教学管理规范性B22 | 教学督导人性化、合理化、科学化 | ||
教学过程督导性B23 | 发现问题及时做出回应与指导,解决问题 | ||
教学过程A3 | 教学内容B31 | 线上教学的知识深度和灵活度,即体现在讲授的概念准确,授课内容充实、重点和难点突出等 | |
教学方法B32 | 教师利用线上教学方式,能否做到讲解与训练结合、理论与实践并进 | ||
教学参与度B33 | 师生在线教学中有效交流互动情况 | ||
教师应变能力B34 | 教师处理突发事件的能力 | ||
教学效果A4 | 作业完成度B41 | 学生课后对线上课程资料复习和作业完成情况 | |
知识掌握度B42 | 学生线上考试和考核成绩 | ||
学习反思能力B43 | 学习过程中能提出疑问,进行知识反思 |
表1. 线上教学质量评价指标体系
根据上一节构建的线上教学质量评价指标体系,结合专家打分,并基于AHP对表1中同一层的指标进行两两比较,确定各层指标之间的重要程度,然后结合指标重要性程度判断标准表(见表2)进行赋值,进而得到判断矩阵,并进行一致性检验。
尺度 a i j | 含义 |
---|---|
1 | C i 与 C j 的影响度相同 |
3 | C i 与 C j 的影响度稍强 |
5 | C i 与 C j 的影响度强 |
7 | C i 与 C j 的影响明显的强 |
9 | C i 与 C j 的影响绝对的强 |
2, 4, 6, 8 | C i 与 C j 的影响之比在上述两个相邻等级之间 |
1, 1 / 2 , ⋯ , 1 / 9 | C i 与 C j 的影响之比为上面 a i j 的互反数 |
表2. 1~9尺度表(重要性程度判断标准表)
下面,以U-A层级为例,结合某高校的线上教学情况,给出具体计算步骤:
步骤1 确定层级判断矩阵。在评价指标U-A层级中,层级A中有4个指标,分别为 A 1 , A 2 , A 3 , A 4 ,相对于U的判断矩阵为
U = ( A 1 A 2 A 3 A 4 A 1 1 2 1 2 1 2 A 2 1 2 1 1 2 1 2 A 3 2 2 1 1 2 A 4 2 2 2 1 ) .
步骤2 计算判断矩阵U的权重向量和最大特征值。根据判断矩阵U并利用Matlab软件可得到判断矩阵的权重向量
w = ( w 1 , w 2 , w 3 , w 4 ) T = ( 0.1981 , 0.1397 , 0.2748 , 0.3873 ) T
和最大特征值
λ max = 4.1213 .
步骤3 对判断矩阵U进行一致性检验。首先,计算一致性指标
C I = λ max − n n − 1 = 4.1213 − 4 4 − 1 = 0.0404.
通过查阅RI取值表(见表3),可得到一致性指标的平均值 R I = 0.9 。进而,可计算得到一致性比例CR为
C R = C I R I = 0.0454 < 0.1.
由计算结果 C R < 0.1 可知,U-A层级的评价判断矩阵U符合实际情况,得到的指标权重通过了一致性检验。
n | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 |
---|---|---|---|---|---|---|---|---|---|---|---|
RI | 0 | 0 | 0.58 | 0.90 | 1.12 | 1.24 | 1.32 | 1.41 | 1.45 | 1.49 | 1.51 |
表3. 随机一致性指标RI的数值
同理,在评价指标A-B层级中,采用U-A层级判断矩阵的分析步骤,可确定各层级指标的权重向量:
B 11 , B 12 , B 13 相对于 A 1 的判断矩阵为
A 1 = ( B 11 B 12 B 13 B 11 1 1 2 2 B 12 2 1 3 B 13 1 2 1 3 1 ) ,
B 21 , B 22 , B 23 相对于 A 2 的判断矩阵为
A 2 = ( B 21 B 22 B 23 B 21 1 3 2 B 22 1 3 1 1 B 23 1 2 1 1 ) ,
B 31 , B 32 , B 33 , B 34 相对于 A 3 的判断矩阵为
A 3 = ( B 31 B 32 B 33 B 34 B 31 1 3 1 2 2 B 32 1 3 1 1 3 1 B 33 2 3 1 2 B 34 1 2 1 1 2 1 ) ,
B 41 , B 42 , B 43 相对于 A 4 的判断矩阵为
A 4 = ( B 41 B 42 B 43 B 41 1 2 1 2 B 42 1 2 1 1 2 B 43 2 2 1 ) .
根据A-B层级的4个不同判断矩阵 A 1 、 A 2 、 A 3 和 A 4 ,计算可得相应权重和一致性检验结果,具体详见表4。
判断矩阵 | λ max | 权重向量 | CI | RI | CR | 一致性 |
---|---|---|---|---|---|---|
A 1 | 3.0092 | w = ( 0.2972 , 0.539 , 0.1638 ) T | 0.0046 | 0.052 | 0.0088 | 通过 |
A 2 | 3.0183 | w = ( 0.5485 , 0.2106 , 0.2409 ) T | 0.0091 | 0.052 | 0.0176 | 通过 |
A 3 | 4.0813 | w = ( 0.2959 , 0.1304 , 0.4147 , 0.1591 ) T | 0.0271 | 0.9 | 0.0304 | 通过 |
A 4 | 3.0536 | w = ( 0.3119 , 0.1976 , 0.4905 ) T | 0.0268 | 0.052 | 0.0515 | 通过 |
表4. 准则层指标权重及其一致性检验
对表4中的权重进行总排序,并对总排序进行一致性检验,一致性比例为
C R = ∑ i = 1 5 a i C I i ∑ i = 1 5 a i R I i = 0.1981 × 0.0046 + 0.1397 × 0.0091 + 0.2748 × 0.0271 + 0.3873 × 0.0268 0.1981 × 0.052 + 0.1397 × 0.052 + 0.2748 × 0.9 + 0.3873 × 0.052 = 0.0702 < 0.1.
由该计算结果 C R = 0.0702 < 0.1 可知,总排序通过了一致性检验,进而对线上教学质量评价指标赋以相应的权重,具体结果如表5所示。
目标层U | 准则层A | A层权重 | 指标层B | B层权重 |
---|---|---|---|---|
线上教学质量 | 平台资源A1 | 0.1981 | 资源的多样性与共享性B11 | 0.0589 |
平台稳定性和网络畅通性B12 | 0.1068 | |||
平台的可获取性B13 | 0.0324 | |||
教学管理A2 | 0.1397 | 教学技术支持与指导B21 | 0.0766 | |
教学管理规范性B22 | 0.0294 | |||
教学过程督导性B23 | 0.0337 | |||
教学过程A3 | 0.2748 | 教学内容B31 | 0.0813 | |
教学方法B32 | 0.0358 | |||
教学参与度B33 | 0.1140 | |||
教师师德与能力B34 | 0.0437 | |||
教学效果A4 | 0.3873 | 课程完成度B41 | 0.1208 | |
课程掌握度B42 | 0.0765 | |||
学习反思能力B43 | 0.1900 |
表5. 线上教学质量评价指标权重表
教学质量评价等级一般采用“优秀、良好、一般、合格、较差”等自然语言进行描述,具有亦此亦彼的模糊不确定性,因此,结合模糊数学理论,用模糊集表示评价等级“优秀、良好、一般、合格、较差”,对线上教学质量进行模糊综合评价。采用专家打分法对线上教学质量进行评价打分 [
根据表6,以准则层中的教学过程指标 A 3 为例,使用模糊综合评价法对其进行量化评估,并设评定集为 V = { 优 秀 , 良 好 , 一 般 , 合 格 , 较 差 } ,对评定集进行赋值 V = ( 90 , 80 , 70 , 60 , 50 ) . 量化评估的具体步骤为:
步骤1 确定隶属度矩阵。邀请10位专家对线上教学质量进行打分,采用百分比统计法统计专家意见,用模糊集 A ˜ 1 , A ˜ 2 , A ˜ 3 , A ˜ 4 , A ˜ 5 表示“优秀、良好、一般、合格、较差”5个等级,10位专家对指标 B 11 依次对等级 A ˜ i , i = 1 , 2 , 3 , 4 , 5 进行打分评判。若10位专家中4位评为优秀、3位评为良好、2位评为一般、1位评为合格,0位评为较差,则该指标隶属于等级 A ˜ i , i = 1 , 2 , 3 , 4 , 5 的程度(即隶属度)分别为0.4、0.3、0.2、0.1和0,进而得到其模糊隶属度向量 [ 0.5 , 0.2 , 0.2 , 0.1 , 0 ] 。根据 A 3 指标在线上教学质量评价的专家评分结果,可得其隶属度矩阵为
R 3 = ( 0.8 0.1 0.1 0 0 0.9 0 0.1 0 0 0.9 0.1 0 0 0 0.7 0.2 0 0.1 0 ) .
目标层U | 准则层A | 指标层B | 优秀 | 良好 | 一般 | 合格 | 较差 |
---|---|---|---|---|---|---|---|
线上教学质量U | 平台资源A1 | 资源的多样性与共享性B11 | 0.8 | 0.1 | 0.1 | 0 | 0 |
平台稳定性和网络畅通性B12 | 0.7 | 0.2 | 0 | 0.1 | 0 | ||
平台的可获取性B13 | 0.9 | 0.1 | 0 | 0 | 0 | ||
教学管理A2 | 教学技术支持与指导B21 | 0.7 | 0.2 | 0.1 | 0 | 0 | |
教学管理规范性B22 | 0.7 | 0.3 | 0 | 0 | 0 | ||
教学过程督导性B23 | 0.6 | 0.2 | 0.1 | 0.1 | 0 | ||
教学过程A3 | 教学内容B31 | 0.8 | 0.1 | 0.1 | 0 | 0 | |
教学方法B32 | 0.9 | 0 | 0.1 | 0 | 0 | ||
教学参与度B33 | 0.9 | 0.1 | 0 | 0 | 0 | ||
教师师德与能力B34 | 0.7 | 0.2 | 0 | 0.1 | 0 | ||
教学效果A4 | 作业完成度B41 | 0.8 | 0.1 | 0.1 | 0 | 0 | |
知识掌握度B42 | 0.8 | 0.2 | 0 | 0 | 0 | ||
学习反思能力B43 | 0.7 | 0.1 | 0.2 | 0 | 0 |
表6. 线上教学质量评价指标专家评分表
步骤2 确定与其对应指标层评价各指标的权重向量
w 3 = ( 0.2959 , 0.1304 , 0.4147 , 0.1591 )
和评定集向量
V = ( 90 , 80 , 70 , 60 , 50 )
步骤3 计算该指标的综合隶属度向量
a R 3 = w 3 ⋅ R 3 = ( w 1 i , ⋯ , w i m i ) ⋅ ( r 11 r 12 ⋯ r 1 N r 21 r 22 ⋯ r 2 N ⋯ ⋯ ⋯ ⋯ r i m 1 r i m 2 ⋯ r i m N ) = ( 0.8387 , 0.1029 , 0.0426 , 0.0159 , 0 )
以及综合评定值
E 3 = V ⋅ a R 3 T = 87.6503
由此可以看出,该高校线上“教学过程”指标评价值在区间 [ 80 , 90 ) 内,表示该高校的“教学过程”处于“良好”等级。同理,可以得到其它指标的评价结果,如表7所示。
准则层A | 综合隶属度 | 综合评定值 |
---|---|---|
平台资源 | ( 0.7625 , 0.1539 , 0.0297 , 0.0539 , 0 ) | 86.2496 |
教学管理 | ( 0.6759 , 0.2211 , 0.0789 , 0.0241 , 0 ) | 85.4879 |
教学过程 | ( 0.8387 , 0.1029 , 0.0426 , 0.0159 , 0 ) | 87.6503 |
教学效果 | ( 0.7510 , 0.1198 , 0.1293 , 0 , 0 ) | 86.2166 |
表7. 准则层指标的最终评价结果
最后,对目标层的线上教学质量U进行评价
1) 计算指标U的隶属度矩阵
R U = ( 0.7625 0.1539 0.0297 0.0539 0 0.6759 0.2211 0.0789 0.0241 0 0.8387 0.1029 0.0426 0.0159 0 0.7510 0.1198 0.1293 0 0 ) .
2) 确定与其对应指标层评价因素的权重向量
w U = ( 0.1981 , 0.1397 , 0.2748 , 0.3873 )
和评定集向量
V = ( 90 , 80 , 70 , 60 , 50 ) .
3) 计算该指标的综合隶属度向量
u R = w U ⋅ R U = ( 0.7668 , 0.1361 , 0.0787 , 0.0184 , 0 )
和U的综合评定值
E U = V ⋅ u R T = 86.5102.
由此可得,该高校的线上教学质量的评价值为86.5102,在区间 [ 80 , 90 ) 内,表示该高校的线上教学质量处于“良好”等级。
本文针对疫情防控背景下各高校进行线上教学质量的评估问题,基于层次分析法和模糊数学理论,以某高校为例给出了一种线上教学质量的模糊综合评价方法,为该校教学管理部门的决策制定提供了依据。同时,基于评价结果,给出了以下建议:
1) 科学合理使用线上教学资源
在线教学评估中“平台资源”指标的权重值表明,学生对线上教学资源的使用越来越关注,同时也发现线上教学资源的使用存在一些问题。例如,由于学生有多门课程,教师在安排线上资源学习任务时要比线下学习任务要多,这会增加学生的负担,同时占据了学生的大部分时间,进而导致部分学生仅仅为了完成任务而出现简单完成作业、“只刷课不听课”等不规范现象。同时,年长的老教师由于对线上教学平台不熟悉,仍然按照线下教学方式进行线上教学,而线上教学资源无法充分使用,导致线上教学比较枯燥,降低了学生的学习兴趣和效率。因此,线上教学要有自己的整体规划,按照学生的接受能力和教师的教学需要,科学合理安排线上教学资源。
2) 基于教学平台的“教”“学”行为监控
线上教学质量评估中“教学过程”指标的较高综合评定值表明,面对教学环境的改变,教师对自己的教法和学生对自己的学法做出了相应的调整和改变,效果显著。但“教学管理”指标的综合评定值最低,教学管理仍然需要改进,可利用教学平台实时监控教学行为,以加强教学的管理。
河北省高等教育教学改革研究与实践项目(2019GJJG256)、教育部产学合作协同育人项目(202101327029)、河北工程大学教育教学改革研究与实践项目(JG2021023)。
陈继强,张丽娜,张 峰,李静静,李志新. 基于层次分析法的高校线上教学模糊综合评价Fuzzy Comprehensive Evaluation of College Online Teaching Based on Analytic Hierarchy Process[J]. 教育进展, 2021, 11(06): 2284-2293. https://doi.org/10.12677/AE.2021.116356