中国民用航空飞行学院，四川 广汉

收稿日期：2022年9月11日；录用日期：2022年10月2日；发布日期：2022年10月11日

摘要

13小时筛选考试是评估学员是否具备继续飞行培养潜质的关键环节，科学准确地评价该考试至关重要。本文首先介绍飞行筛选考试评分模型，利用平均值、相关性、难度、区分度、信度等统计指标对筛选考试质量进行统计分析，并就考试中反映的学员核心胜任力水平进行统计。结果显示：试题信度尚可，难度、区分度均设置合理。正常和侧风进近、着陆目测、着陆条件、低空操纵、正常和侧风着陆、假设迫降此类科目学员考试成绩整体偏低，且实际掌握水平较低，是影响筛选考试结果的关键难点科目。胜任力要素分析表明，技能要素是在后续训练中需注重加强的。据资深教员说明，文章研究结果具有较强的现实意义。

关键词

飞行训练，筛选考试，课程教学，评价方法，核心胜任力

Research on the Subjects of the Screening Test for Pilot Training

Dan Ren^*, Hong Sun, Huiyun Hu, Xin Liu

Civil Aviation Flight University of China, Guanghan Sichuan

Received: Sep. 11^th, 2022; accepted: Oct. 2^nd, 2022; published: Oct. 11^th, 2022

ABSTRACT

The 13-hour screening test is the key link to evaluate whether the students have the potential of continuing flight training. It is very important to evaluate the screening test scientifically and accurately. Firstly, this paper introduces the scoring model of flight screening test, makes statistical analysis on the quality of screening test by using statistical indicators such as average value, correlation, difficulty, discrimination reliability, etc., and makes statistics on the core competency level of students reflected in the test. The results show that the reliability of the test questions is acceptable, and the difficulty and discrimination are set reasonably. Normal and crosswind approach, landing visual inspection, landing conditions, low altitude control, normal and crosswind landing, and hypothetical forced landing are the key and difficult subjects that affect the screening of test results, because the students’ test scores are generally low and their actual mastery level is low. The analysis of competency elements shows that skill elements need to be strengthened in follow-up training. According to senior teachers, the research results of this paper have strong practical significance.

Keywords:Flight Training, Screening Test, Course Teaching, Evaluation Method, Core Competency

Copyright © 2022 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 引言

在飞行员训练初始，筛选考试作为极其重要的一个阶段，能够直接决定学员是否适合继续进行后续的飞行训练，是控制学员飞行训练质量的重要环节。事实上，若将不合适的飞行学员准入下一阶段训练，那么在后续飞行中可能存在隐患；若出现因未对可能具备潜力的学员全面评价而停飞的情况，则将对于公司、个人及学校三方都会造成不同程度的损失。因此，科学准确地分析评价飞行筛选考试是至关重要的。一般学员会在飞行训练13小时后参加筛选考试，考试通过，方可继续后续训练；若不通过，则训练终止，学员淘汰。该阶段，学员须完成规定飞行科目的训练及考查，教员及检查员分别根据学员的平时训练表现和考试成绩，对学员的科目训练质量完成综合评判。从长期的飞行训练来看，学员在筛选考试过程中，对不同科目的完成质量存在较大差异。因此，根据学员成绩研究筛选考试科目显得十分必要且具有实际意义。本文结合现有的飞行训练研究，如飞行员培训现状及展望中提出飞行员的市场需求及其培训的发展、飞行员专项力量素质训练提出了舰载机飞行员体能的重要性、飞行员心理选拔研究提出了心理要素研究、飞行学员核心胜任能力评价、基于算法模型实施的飞行训练品质评价、民航飞行员情景意识影响因素研究等 [1] - [6]，上述文献仅从单方面对飞行员所需的特征要素进行了研究，未将核心胜任力全面引入飞行训练，且研究对象针对于成熟的航线运输飞行员，而本文针对初始飞行训练首先提出筛选考试评分模型，采用平均值、相关性、难度、区分度、信度等 [7] [8] [9] [10] 统计分析方法对学员的筛选考试成绩进行统计分析得出关键难点科目，其次分析试题质量，最后基于核心胜任力分析考试中存在的问题。以此，不仅能够评估前一阶段学员的训练水平，发现训练过程中存在的薄弱环节，还可以对筛选考试通过率较低的科目进行分析和总结，有助于提升后续飞行训练质量，为飞行训练大纲的相关内容的改进及完善提供参考建议。

2. 筛选考试评分模型

筛选考试评分是对飞行学员综合能力、知识、日常表现等的全面评估。其考试综合评估结果是由日常操守评分、综合素质评分、实践考试评分三方共同决定，最终由资质评审委员会根据学员综合表现情况，做出最后的评估和决议，即通过、不通过、技能待定。具体判定准则如表1所示。

综合评估结果分数计算公式如下：

$y=x_1+\left(x_2+x_3\right)\ast 50\%$ (1)

表1和式(1)中，y表示综合评估结果得分， $x_1$ 表示日常操守评分； $x_2$ 表示综合素质评分， $x_3$ 表示实践考试评分。具体评分构成及说明如图1所示。

表1. 判定准则

图1. 评分结构图

2.1. 日常操守评分

日常操守评分，是衡量学员生活作风的重要指标。由于对飞行学员高质量高标准的要求，对学员的日常管理与约束也不容小觑。该评分是由具体每个大队的学管干部对飞行学员的生活作风进行评定，满分为10分。此评分可反映飞行学员日常管理水平及个人素质相关问题。

2.2. 综合素质评分

综合素质评分是由飞行大队和责任教师共同评估，是对学员平时飞行训练的全面评价。如图2所示，学员表现优秀的评分项给与8~10分，良好的评6~8分，其他视情况评6~0分。八个评分项目总和即为综合素质最终评分。该八项评分是结合学员飞行训练平时表现对其进行综合评价。

2.3. 实践考试评分

实践考试评分是由局方委任的检查员组成检查小组，按照考试大纲通过观察学员在考试中的实时表现给予评判，主要考查学生对飞行筛选考试规定科目(详见图3图例说明)程序掌握的熟练程度以及操纵的准确性。每个评分项总分为5分。表现优秀评5分，表现良好评定4分，其余视完成标准评3~0分。取检查员A和检查员B评分的平均值作为最后得分。该评分可反映学员对各科目的实操完成质量，以及学员的应变能力、心理素质等相关问题。

图2. 综合素质评分图

3. 筛选考试成绩分析

学员考试成绩可以直观反映出学员考试科目的完成度与训练质量。为使研究结果更具有合理性及现实意义，本文采用中国民用航空飞行学院2018年某批次飞行学员筛选考试的成绩。

据统计分析，学员的日常操守评分中，89%的学员评分为8分，仅有11%的学员为7.7分，总体上全员基本合格，符合预期效果。综合素质评分中，仅有2名学员表现不合格。且日常操行评分与综合素质评分均具有一定主观性。相比较而言，对于学员筛选考试结果影响较大是实践考试。因此，本文着重研究学员实践考试。

为分析学生实践考试成绩及评估考试结果的有效性，对成绩的均值、相关性，试题的难度、区分度和信度进行分析 [7] [8] [9] [10]。测试结果分析结论如表2所示：

表2. 筛选考试测试结果分析

3.1. 实践考试成绩分析

该批次学员筛选考试通过率为92%，说明学员整体训练水平均能达到合格水平。实践考共包括20个科目(详见图3图例说明)，各科目满分均为5分、各科目最高得分是4分，3分为中值代表中等水平。从科目成绩均值分布来看，平均值 $\bar{X}$ 低于3分的科目有6个、占12%，其中科目13 (低空操控)、科目14 (正常和侧风着陆)平均分最低，反映了学员普遍掌握较差。进一步利用SPSS软件对科目与考试总成绩的相关性分析，由皮尔逊相关系数计算结果如表2所示。根据 $0.8\le \left|R^2\right|\le 1$ 为高度相关的准则可知： $\bar{X}<3$ 的科目均与考试总成绩高度相关。综上所述， $\bar{X}<3$ 的科目为学员掌握水平相对较低的重难点科目，据资深教员说明，此类科目具有一定的飞行难度，且需要学员自身具有扎实的理论基础和稳定的实践操纵能力，并将二者很好地结合。因此，应在后续的飞行训练教学中注重此类科目的训练，对学员的训练状态、操纵能力、飞行意识等及时且多加关注，有必要时应对飞行训练大纲的课程安排作出修改，以防影响后续训练进度和质量。

3.2. 试题质量分析

1) 测试科目的难度分析。

$P=\frac{\bar{X}}{X_{\max }}$ (2)

利用公式(2)分析筛选考试各科目设置困难程度， $P$ 代表题目难度， $\bar{X}$ 为各科目平均分， $X_{\max }$ 为各科目满分值。 $P\in \left[0,1\right]$，P值越大，试题越容易，这与人们的观念可能不一致，因此可用失分率q来表示难度，计算公式为 $q=1-P$。由表2可知本文所有科目的难度系数分布在0.30~0.50之间，当所有题目难度系数分布在0.30~0.70之间可使测验对被试有较大的鉴别力 [8]，因此所有科目的难度设置合理。

2) 测试科目的区分度分析。

为了分析考试科目对考生实际水平的区分程度、评价考试科目设置的合理性，采用高低分组法分析测试结果的区分度，计算结果见表2。

$D=\frac{{\bar{X}}_H-{\bar{X}}_L}{X_{\max }}$ (3)

式中， $D$ 代表题目的区分度， ${\bar{X}}_H$ 表示高分组在某科目上的平均得分， ${\bar{X}}_L$ 表示低分组在该科目上的平均分， $X_{\max }$ 表示该科目的最高得分。高分组和低分组人数比例各占总人数的27%。 $D$ 值越高，题目越有效。根据表3区分度评价准则可知，本次实践考试中区分度优良的科目占比20%，合格的占比45%，未出现需淘汰的科目。说明该考试科目区分度设置基本合理，至于部分科目的区分度较低，如飞行前准备、起飞连续滑跑、爬升等科目，需在后续训练中改进调整 [8]。

3) 信度。本文采用最常用的半分法 [7] 对学员实践考试结果信度 $r$ 进行分析，以评价测试结果的可靠性或稳定性。得到结果为 $r=0.9$，$r\in \left[0,1\right]$，其值越大，试题信度越高，结果越可靠 [8]。即该实践考试信度可接受。

表3. 测试科目设置的区分度评价准则

3.3. 胜任力要素分析

基于核心胜任力实施飞行训练是行业发展趋势，根据FAA在航空人员认证标准(ACS)中的定义，初始训练阶段是学员胜任力培养的基础阶段，其培养要求主要体现在知识、技能、安全意识三个方面，加强对学员在初始训练环节的胜任力考察是今后飞行训练教学改革的一个重点和难点。利用筛选考试中检查员对学员所存在的问题的观察和评价实时记录，对所有样本学员筛选考试环节所暴露出的胜任力薄弱项及其科目分布进行分析，图3和图4是对本次考试中所反映的学员胜任力薄弱项，以及所涉及科目分布的统计结果。

图3. 考试科目问题占比分布图

从图3可以看出筛选考试阶段学员存在问题最多的科目分别是科目12 (着陆条件，占比15%)、科目11和科目10 (着陆目测和正常和侧风进近，均占比13%)，这可反映飞行初始阶段，学员在进近着陆操纵协调、注意力分配、反应能力、心理素质、情景意识等方面普遍掌握较差，该阶段的操纵能力形成是影响学飞的关键因素，因而也是对于初始训练阶段学员核心胜任力评估的重要因素。

图4是对全部样本学员在筛选考试中的实际表现基于胜任力要素进行的统计对比，可以发现，最突出的是技能要素(问题占比达73%)，其中最典型的能力薄弱项是姿态变化不稳定、动作粗猛协调性差、修正意识及注意力分配不足、三转弯下降梯度控制不好、四转弯时机控制不当，无线电能力弱、基本

图4. 胜任力要素问题占比分布图

状态控制不稳定等。其次是飞行运行相关知识掌握不好(此类问题占比14%)，其中最典型的能力薄弱项是空域知识、领航知识、基础知识等，说明学员需自觉熟练掌握基础理论知识及基础程序；最后，是飞行安全意识不强(此类问题占比13%)，其中最典型的能力薄弱项是对外观察不足、失速意识欠缺、下况判断不清、假设迫降场地选择不合理等。对飞行教员的调查也表明这些现象在考核结论为“不通过”、“技能待定”的学员中表现尤为突出。因此，为确保学员飞行训练质量，提升筛选通过率以及飞行训练效率，需要有针对性强化对学员飞行驾驶核心胜任力的培养，尽量做到立足于飞行学员实时训练情况安排飞行训练 [11]。

4. 结论

筛选考试是一项复杂的综合性活动。该阶段学生需熟悉飞机系统和操纵，了解飞机的基本性能，学会控制飞行状态。本文采用试卷分析与评价的相关指标对该考试进行了统计分析，研究实践考试中关键难点科目及试题质量，并统计了考试中反映的学员核心胜任力水平。通过分析表明该试题信度尚可，难度、区分度均设置合理。其中正常和侧风进近、着陆目测、着陆条件、低空操纵、正常和侧风着陆、假设迫降此类科目学员考试成绩整体偏低，且实际掌握水平较低，是影响筛选考试结果的关键难点科目。基于胜任力培养飞行员是今后飞行训练发展的主要趋势 [12]，本文基于此仅分析了学员核心胜任力中的技能要素是在后续训练中需注重加强的，但以此评估学员飞行能力可在后续做进一步研究。

基金项目

本文系“国家自然科学基金民航联合基金重点项目”(U2033213)；“民航飞行技术与飞行安全科研基地开放基金项目”(F2018KF02)；“民航飞行技术与飞行安全重点实验室开放项目”(FZ2021KF14)；“大学生创新创业训练项目”(S202110624251)的成果之一。

文章引用

任 丹,孙 宏,胡慧昀,刘 欣. 飞行学员训练筛选考试科目研究
Research on the Subjects of the Screening Test for Pilot Training[J]. 应用数学进展, 2022, 11(10): 6934-6941. https://doi.org/10.12677/AAM.2022.1110735

参考文献