海军军医大学职业教育中心，上海

收稿日期：2022年9月22日；录用日期：2022年10月25日；发布日期：2022年11月1日

摘要

目的：构建军事职业教育在线虚拟训练课程质量评价指标体系。方法：在文献研究和专家咨询的基础上，初步建立起军事职业教育在线虚拟训练课程质量评价指标框架。运用德尔菲法，对31名专家进行函询。共发放咨询问卷31份，有效回收31份(100%)。结果：经过专家函询，31名专家对指标命名及内涵的认同率达到95%以上，意见基本一致。结论：构建起由课程设计、课程制作、课程实施和课程效果4项一级指标、8项二级指标和22项三级指标组成的军事职业教育在线虚拟训练课程质量评价指标体系，以期为在线虚拟训练课程的质量评价提供参考，提升课程建设质量和课程效果。

关键词

军事职业教育，在线虚拟训练课程，质量评价，指标体系

Construction of Quality Evaluation Index System for Online Virtual Training Courses in Military Continuing Education

Yujie Zhang, Xueping Qiu, Juan Lu^*

Military Continuing Education Centre, Naval Medical University, Shanghai

Received: Sep. 22^nd, 2022; accepted: Oct. 25^th, 2022; published: Nov. 1^st, 2022

ABSTRACT

Objective: To establish a quality evaluation index system of online virtual training courses in military continuing education. Methods: A primary index system was established through a literature review and a small expert meeting, and the Delphi method was used to conduct a letter consultation among 32 experts. 31 questionnaires were provided and 31 valid results were collected (100%). Results: After the consultation, the recognition rates of the experts on the naming and connotation of indicators were all over 95%, and their opinions basically reached a consensus. Conclusion: A quality evaluation index system of online virtual training courses in military continuing education was established, including 4 first-level indexes, 8 second-level and 22 third-level ones, which was hopeful to provide a basis for the quality evaluation of online virtual training courses and improve the quality and effectiveness of the course.

Keywords:Military Continuing Education, Online Virtual Training Courses, Quality Evaluation, Index System

Copyright © 2022 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 引言

随着“三位一体新型军事人才培养体系”战略部署的有序开展，军队职业教育改革日益深化，“网络 + 教育 + 训练”的现代化学习训练方式日益兴起 [1] ，虚拟现实技术与在线教育的结合，产生了在线虚拟训练这种全新的在线课程形式，成为军事职业教育发展的新形式。作为军事职业教育在线课程的一种重要形式，在线虚拟训练课程主要依托军事职业教育网络服务平台，通过虚拟沉浸式、互动式、游戏化等方式，对学习者进行各专业岗位的原理示教、装备(系统)操作、作战运用、战法创新等模拟训练，学习方式更为直观。作为军事职业教育新兴的学习资源，在线虚拟训练课程有效提高了官兵训练的真实性和灵活性，使精密复杂的实操训练变得更直观具体，极大地满足了部队实战化教学训练的需求。

2. 对象和方法

2.1. 对象

从全军各单位遴选出31名从事军事职业教育管理、教学、技术服务等专业，并对军事职业教育在线课程的设计、制作、上线运行及实施效果等较为熟悉的专家。从职称情况看，正高职5名，副高职15名，中职11名；从任职情况看，各院校职业教育中心主任等管理人员21名，相关课程制作技术专家1名，熟悉军事职业教育在线课程建设的相关专家9名。专家年龄39~58岁，平均年龄51.5 ± 7.78岁。

2.2. 方法

2.2.1. 指标体系的初步拟制

根据文件政策规定，结合在线虚拟训练课程的特点和专家意见，初步建立4项一级指标，分别为课程设计、课程制作、课程实施、课程效果，下辖8项二级指标，22项三级指标并包含具体观测要点。结合课程实施和课程效果阶段的特点，设置“学员投入度”“教员投入度”“师生互动”“内容完成率”等指标，通过收集处理相关课程数据进行评价，兼顾指标客观性。

2.2.2. 专家咨询

在初步建立评价指标体系的基础上，设计半开放问卷，运用德尔菲法开展专家函询，请专家对各项指标逐一提出意见，包括指标设定是否合理、名称是否规范等，并赋予各项指标权重，不同意见需注明原因。收集汇总专家意见后，辅以电话、电子邮件、微信等方式深入沟通，直到意见集中。

2.2.3. 统计学分析

使用SPSS 24.0对数据进行处理，计算修均权重、标准差及变异系数。若指标认同率 > 95%，则认为专家意见基本一致，函询结束；否则继续进行下一轮函询。

3. 结果

3.1. 咨询结果的可靠性

本轮共发放咨询问卷31份，有效回收31份(100%)。因本研究建立在前期在线开放课程评价指标体系的基础上，初步指标的建立汲取了在线开放课程两轮专家咨询的意见，因此，本轮专家咨询的指标认同率较高。根据专家自我评价，专家对4项一级指标非常熟悉和比较熟悉的百分比在80%以上(见表1)。

表1. 专家对各指标熟悉情况的自我评价

3.2. 咨询结果分析

综合专家意见，专家对所有指标认同率均超过95%，4项一级指标的认同率达100%；二级指标中，2项指标的认同率为97%，其余6项指标认同率均为100%；三级指标中，16项指标的认同率为100%，6项指标认同率为97%。个别专家提出增设或删减部分指标，例如1名专家建议将课程软件下的三级指标演示和指引去掉，理由是与该二级指标下的内容交互性指标重复。结合二者的观测要点来看，内容交互性是指课程提供充分交互机会，引发学习者的积极投入、操纵和思考，是为学习者提供交互机会；而演示和指引则是针对课程内容提供演示，促进学习训练效果，二者并不重复，结合多数专家意见保留该指标。最终，在综合考虑在线虚拟训练课程特点及绝大多数专家意见基础上，经过充分的研讨沟通，该指标体系意见基本达成一致。

3.3. 指标体系确立

在专家意见基础上，最终构建出由课程设计、课程制作、课程实施和课程效果4项一级指标、8项二级指标和22项三级指标组成的军事职业教育在线虚拟训练课程质量评价指标体系，并根据函询中专家给出的权重意见计算出各指标权重，见表2。

表2. 军事职业教育在线虚拟训练课程质量评价指标体系

4. 讨论

4.1. 军事职业教育在线虚拟训练课程质量评价指标体系建立的必要性

建立评价指标体系是进行评价研究的前提和基础，评价指标体系能真实反映评价对象的特征 [2] ，具体到课程质量评价，指标体系法也是较为常用的一种方法，国内外对在线课程的质量评价多用此种方法 [3] 。国家、军队现有的在线课程评价注重对课程教育性、科学性、技术性等方面的评价，但评价方法和标准多存在一定弊端：一是评价方法多为主观评价，依靠专家主观判断进行评价打分，随意性较大，评价标准难以把握；二是对课程实施及效果部分的评价重视不够，分值占比较低。目前，军事职业教育领域较为权威的在线虚拟训练课程评价指标聚焦课程建设质量评价，共设置立项需求、内容设计、预期效益、制作水平4项指标，未关注课程实施和课程效果；指标设立较为简单，缺乏可量化的指标。在线虚拟训练课程作为一种教学活动，不仅要重视对课程资源建设的评价，还要注重对课程实施及效果的评价，才能形成完成的闭环，达到以评促建的目的。

目前，国内对在线虚拟训练课程相关研究较少，多集中在虚拟仿真技术及虚拟仿真训练系统的应用探索和效果研究，因此，亟需研究构建一套适合在线虚拟训练课程特点与功能，符合军事职业教育要求与定位的质量评价指标体系，对其建设质量和课程效果进行全面科学的评价，提升课程质量。

4.2. 军事职业教育在线虚拟训练课程质量评价指标体系的分析

由表2可见，一级指标中，权重均值最高的是课程制作(0.314)，反映出课程制作的重要地位。在线虚拟训练课程的特殊性决定其对视频拍摄制作、软件的开发和部署测试等有着较高的要求，课程制作的质量不仅影响课程内容的呈现方式和水平，也影响着学生的学习效果 [4] 。此外，课程设计(0.294)的指标权重仅次于课程制作。课程设计对课程建设起着指引和规划的作用，在线虚拟训练课程建设要围绕部队战斗力建设和军队人员岗位能力提升的需要，聚焦装备器材的实操训练，力求让官兵通过虚拟直观的实操练习牢固掌握专业技能，将理论知识转化为实实在在的战斗力。

二级指标中，课程设计方面，教学内容(0.650)的指标权重较高。教学内容是课程质量评价的重点，要围绕主战装备和新质作战力量，衔接部队训练和院校教学，才能被官兵认可，取得良好的教学效果。课程制作中，课程软件(0.674)的指标权重较高。作为基于虚拟现实技术和网络多媒体技术构建的网上学习训练平台，在线虚拟训练课程建设以虚拟软件的开发为主，对软件开发具有较高的要求，其质量的高低直接决定课程制作水平。课程实施中，课程参与(0.525)的权重最高，教员和学员的课程参与度是一个非常重要的评价指标，学员投入度可以反映出一门课程的质量水平和吸引力，教员投入度反映的则是教员对这门课的关注程度和提供教学服务的情况。教员对课程倾注的心血和精力越多，与学员互动交流的越频繁，课程效果和学员反馈也会越好。课程效果中，学习者满意度和学习者目标达成度指标权重差别不大，且2项指标都是从学习者角度进行评价，注重学习者的学习体验感和学习效果，充分尊重了学习者的主体地位。

三级指标中，大部分指标权重差别不大，表明所列指标均是影响在线虚拟训练课程建设和质量的重要因素，指标设置较为合理。其中，权重最高的是师生互动(0.578)。师生互动的观测点设置的是讨论区教师回复次数和总提问次数的比值，评论区的有效互动能够对教与学的过程起到双向互推的效果，学生在交流中能够增进对知识的理解，而教师也能发现待完善之处，从而达到教学相长的目的。

4.3. 军事职业教育在线虚拟训练课程质量评价指标体系对课程建设的启示

质量评价指标体系的建立不仅为在军事职业教育线虚拟训练课程的质量评价提供参考，也对课程建设起到积极的启示作用。

一是优质的教学内容是课程建设质量提升的基础。在线虚拟训练课程的内容要紧扣作战训练最新动态和官兵学习需求，充分考虑内容的实用性，选择基层急需且要求实操的训练内容；要按照原理示教、装备操作、作战运用的模块要求合理设计课程内容框架，结合虚拟现实技术和网络多媒体技术，制作出具有沉浸感和操作性的在线虚拟训练课程内容，提升内容的表现力。

二是精良的课程制作是课程建设质量提升的手段。课程制作是军事职业教育在线课程建设的重要一环，在线虚拟训练课程主要以虚拟沉浸式的方式呈现，对课程制作的要求更高。因此，在线虚拟训练课程建设阶段需格外关注信息技术开发、多媒体运用、动画演示效果和交互体验等，充分利用情景模拟、角色扮演、分组对抗等方式，让学员更加真实地模拟装备器材等的使用与操作，实现理论知识向技能能力的高效转化 [1] 。

三是关注学生主体是课程建设质量提升的关键。已经构建的评价指标体系中，“学习者满意度”“课程参与”“师生互动”等指标权重占比较高，说明无论是线下课程还是在线课程，“学生主体”的课堂地位不会改变。学生是知识的直接接受者，对课程质量水平的感受最为直观。在课程设计、制作和实施阶段都要格外关注学生的需求和感受，从学生需求出发选择课程内容，从学生易于接受的角度设计制作课程，为学生开展好教学服务，真正落实好学为主体的教育理念。

5. 总结

本研究通过文献研究、小型专家会议、德尔菲法等，探索构建起一套由课程设计、课程制作、课程实施和课程效果4项一级指标、8项二级指标和22项三级指标组成的军事职业教育在线虚拟训练课程质量评价指标体系，以期能够为我军军事职业教育在线虚拟训练课程质量提升提供有益的借鉴，达到以评促建的目的。由于人力、物力、研究水平的限制，该指标体系有待于在实践中进行验证和优化。今后将进一步开展相关应用研究，结合在线虚拟训练课程的评价实践进一步检验指标体系的信度和效度，不断完善评价指标。

基金项目

全国教育科学国防军事教育学科“十三五”规划军队专项课题(JYKYD2020032)；海军教育理论研究重点课题“海军院校在线课程标准研究”。

文章引用

张玉洁,仇雪萍,鲁 娟. 军事职业教育在线虚拟训练课程质量评价指标体系构建
Construction of Quality Evaluation Index System for Online Virtual Training Courses in Military Continuing Education[J]. 职业教育, 2022, 11(06): 549-554. https://doi.org/10.12677/VE.2022.116085

参考文献