本文系国家社科基金重点项目结题成果《传承性与创新性:基于证据的六级、雅思、托福考试效度对比研究》(14AYY010)的引介,由引言和结语构成,是项目研究的整体设计、具体实施与完成的全局性概览。该研究以“社会–认知效度验证框架”为理论基础,使用了效度研究一些传统的研究方法,如问卷调查、有声思维等,也尝试了一些创新性的研究方法,如数据挖掘、眼动追踪等。该研究成果不仅丰富了六级、雅思、托福三项考试的效度证据,为教育、人事部门及广大利益相关者提供入学、就业、人才流动等决策依据,而且为其他语言测试效度对比研究提供了思路与方法上的借鉴。 This paper is an introduction to the accomplishment of the key research project of the National Philosophy and Social Sciences Foundation of China Continuity and Innovation: An Evidence-Based Comparative Validation Study of CET-6, IELTS and TOEFL iBT (Fund No. 14AYY010). It consists of the introduction and the conclusion parts, which provides an overall glimpse of the whole research design and its implementation processes. This study, utilizing the evidence-based “Socio-cognitive” Framework for test validation as its theoretical basis, employs some traditional validation study methodologies, such as questionnaire survey and verbal protocol, and explores some innovative technologies such as data-mining and eye-tracking. The research findings not only enrich the validation evidence of the three tests, CET-6, IELTS and TOEFL iBT, for decision-making references for study, employment and migration for education, human resources and other relevant stakeholders, but also offer references for comparative validation studies of other language assessments in methodologies and ways of thinking.
本文系国家社科基金重点项目结题成果《传承性与创新性:基于证据的六级、雅思、托福考试效度对比研究》(14AYY010)的引介,由引言和结语构成,是项目研究的整体设计、具体实施与完成的全局性概览。该研究以“社会–认知效度验证框架”为理论基础,使用了效度研究一些传统的研究方法,如问卷调查、有声思维等,也尝试了一些创新性的研究方法,如数据挖掘、眼动追踪等。该研究成果不仅丰富了六级、雅思、托福三项考试的效度证据,为教育、人事部门及广大利益相关者提供入学、就业、人才流动等决策依据,而且为其他语言测试效度对比研究提供了思路与方法上的借鉴。
效度,基于证据的“社会–认知”语言测试效度验证框架,六级,雅思,托福
Xiangdong Gu
Chongqing University, Chongqing
Received: Nov. 8th, 2020; accepted: Nov. 16th, 2020; published: Nov. 30th, 2020
This paper is an introduction to the accomplishment of the key research project of the National Philosophy and Social Sciences Foundation of China Continuity and Innovation: An Evidence-Based Comparative Validation Study of CET-6, IELTS and TOEFL iBT (Fund No. 14AYY010). It consists of the introduction and the conclusion parts, which provides an overall glimpse of the whole research design and its implementation processes. This study, utilizing the evidence-based “Socio-cognitive” Framework for test validation as its theoretical basis, employs some traditional validation study methodologies, such as questionnaire survey and verbal protocol, and explores some innovative technologies such as data-mining and eye-tracking. The research findings not only enrich the validation evidence of the three tests, CET-6, IELTS and TOEFL iBT, for decision-making references for study, employment and migration for education, human resources and other relevant stakeholders, but also offer references for comparative validation studies of other language assessments in methodologies and ways of thinking.
Keywords:Validity, Evidence-Based “Socio-Cognitive” Framework for Test Validation, CET-6, IELTS, TOEFL iBT
Copyright © 2020 by author(s) and Hans Publishers Inc.
This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).
http://creativecommons.org/licenses/by/4.0/
国家社科基金重点项目“基于证据的四六级、雅思、托福考试效度对比研究”(14AYY010)于2014年6月立项。课题组随即开展了长达五年六个月系统深入的调查与研究。本专著为该项目的结题成果。
本专著涉及的大学英语四六级、雅思、托福三项考试是中国乃至全球极具代表性的语言考试。三项考试规模大、风险高、影响广。四六级考试包含四级和六级两个难度级别;雅思分学术类和培训类两种考试用途;托福有纸笔考、机考和网考三种考试形式。在本研究中,我们选择的分别是六级、雅思学术类、托福网考三项考试。因为六级与四级相比在难度上更加接近雅思学术类和托福网考;相较于培训类,雅思学术类更多用于升学考试用途,这与托福考试用途更接近;而网考是托福三种答题形式中最普及、使用最多的考试形式,所以我们选择六级、雅思学术类、托福网考三项考试进行对比。为了表达简洁,在本专著中,六级、雅思学术类和托福网考三项考试分别简称为:六级、雅思、托福。
本引言将首先简要概述国内外效度研究的现状,包括三项考试的研究及存在的不足;然后简要介绍本选题的价值和意义、研究的基本观点及主要内容;最后对结题成果进行概述性说明。
效度(validity)是测试评价中最重要的考虑因素 [
整体效度观给语言测试的开发与研究带来了重大变革,但由于该理论高度概括且过于抽象,使效度验证缺乏可操作性。近年来更多的语言测试学家根据该理论提出了一些具体的效度验证框架。其中较有影响的效度验证框架如下:
“交际语言能力模型”和“测试方法层面框架” [
“测试有用性框架” [
“基于论证的效验模式” [
“测试使用论证框架” [
“基于证据的效度验证框架” [
目前关于效度理论和验证模式的研究主要集中在国外,国内类似的研究还处于起步阶段,主要是对国外相关领域的发展进行引介和评述 [
三项考试相关研究比较丰富,主要涵盖以下方面(括号中的文献仅为部分举例):
六级的整体效度研究 [
雅思的开发及效度验证 [
托福的效度论证 [
尽管关于三项考试研究的文献比较丰富,但能够将这些研究组织起来并形成有关联和强有力的论证文献较为缺乏,而且涉及三项考试中任何两项的考试效度对比研究,尤其是实证研究也相当少。现有的对比研究多集中在分数等值方面 [
学科理论与实践价值:理论上,验证“基于证据的社会–认知效度验证框架”在考试效度对比研究中的可行性,并进一步构建更加科学合理的语言测试效度对比研究模型。实践上,通过对比三项考试的效度,形成将三项考试关联起来的论证。这不仅可以丰富考试对比研究领域的文献类型,而且能为类似的研究提供思路和方法上的借鉴。
社会和现实意义:一方面,本研究有助于推动我国语言测试开发与研究的国际化水平,有利于提升我国自行开发的英语考试在国际上的认可度,为教育、人事部门及广大利益相关者提供入学、就业、人才流动等决策依据;另一方面,本研究中的雅思和托福考试均已实现与国际公认的语言能力标准CEFR (Common European Framework of Reference for Languages: Learning, Teaching, Assessment) [
尽管六级、雅思、托福三项考试的目的、性质、构念、分数解释和结果使用等诸多方面存在不同,但三项考试都是以英语为外语或二语的大规模、高风险语言考试,受试将接受或正在接受高等教育,三项考试的效度应该具有可比性,三者的效度应该既有较大的相似性,也有一定的差异。而实际情况是否如此,有待进行全面深入的实证研究。
本课题的理论基础为“基于证据的社会–认知效度验证框架”(Evidence-based Socio-cognitive Framework for test validation) [
受试特征指受试生理、心理和经历特征。情景效度取代的是传统意义上的内容效度,指测试任务在多大程度上代表了该任务所取样的全域(universe)。认知效度指测试任务在多大程度上引发了考生在真实语言使用中相似的认知过程。评分效度被纳入效度整体概念的一部分,代替的是传统的信度,它回答的问题是测试分数在多大程度上是可靠的。校标关联效度指测试本身以外的效度证据,如一项考试与其他测量相同构念且已得到公认的有效测试或测量的相关程度。后果效度指测试过程及测试结果对所有相关人员产生了什么影响,包括宏观的后果(如对机构、社会的影响)和微观的后果(如对考生、教师的影响)。由于本课题主体是基于考生的证据,而且是关于三项考试的效度对比研究,即多方面的效度证据收集将包含受试特征和校标关联效度,因此,受试特征和校标关联效度在本研究中没有单独列出。
本课题研究从“基于证据的社会–认知效度验证框架”出发,从情景效度、认知效度、评分效度和后果效度四个方面对六级、雅思、托福考试进行了全面深入的效度对比研究。这些研究回答了一个总的研究问题:六级、雅思、托福三项考试的效度有何异同?图1为本课题的研究概览。
图1. 基于证据的六级、雅思、托福考试效度对比研究概览
引言
传承性研究
情景效度
第1章 六级、雅思、托福阅读词汇复杂度对比研究
第2章 六级、雅思阅读文本来源与改编对比研究
认知效度
第3章 基于有声思维的六级、雅思、托福听力长对话测试构念效度对比研究
第4章 基于有声思维的六级、雅思、托福阅读测试构念效度对比研究 评分效度
评分效度
第5章 六级、雅思、托福口语考试形式与题型对考官和考生会话特征的影响
第6章 六级、雅思、托福口语考试形式与题型对考官和考生主题发展的影响
后果效度
第7章 基于考生证据的六级、雅思、托福口语测试反拨效应对比研究
第8章 基于考生证据的六级、雅思、托福写作测试反拨效应对比研究创新性研究
创新性研究
情景效度
第9章 数据挖掘技术在语言测试研究中的应用
第10章 六级、雅思、托福阅读文本自动分类——基于数据挖掘技术认知效度
认知效度
第11章 眼动技术在语言测试研究中的应用
第12章 认知效度理据、概念、模型及实证研究综述
第13章 六级、雅思、托福认知过程对比研究——基于眼动和访谈的证据
后果效度
第14章 六级、雅思、托福写作测试的反拨效应机制对比研究——基于结构方程模型
结语
附录1
附录2
附录3
本课题以“基于证据的社会–认知效度验证框架” [
这些研究使用了丰富的数据:测试文本900余篇,受试作答题目777项(听力和阅读),口语测试样本视频7段;参与问卷调查、访谈、有声思维、眼动的考生和受试共1000余人次。这些丰富的数据充分体现了本课题的宗旨:基于证据的六级、雅思、托福考试效度对比研究。所有这些实证研究旨在回答一个总的研究问题:六级、雅思、托福考试的效度有何异同?
本课题研究结果表明,六级、雅思、托福三项考试均具有良好的效度。换言之,根据三项考试的成绩对考生英语语言能力做出的推论是可靠合理的。总体而言,雅思与托福的效度在各方面相同点较多,而六级的效度与二者相比差异性更大。三项考试效度的异同具体见表1。
效度研究 | 相同点 | 不同点 |
---|---|---|
词汇复杂度 | s 三项考试词汇复杂度各项指标均有显著差异(BNC型符、类符除外),托福词汇难度最高,雅思其次,六级最低;相反,六级词汇多样性最高,雅思其次,托福最低。 | |
文本选择与改编 | s 六级、雅思阅读测试选材话题覆盖面较广,且都选自原版杂志、报刊、学术书籍,语言真实性强。 s 六级、雅思阅读文本改编方式多样。两项测试文本改编前后在BNC1000词、范围外词、隐性衔接指标、二语可读性指标改革前后均有显著差异。 | s 六级选材更青睐英语国家讨论国际时事的主流杂志与报纸,而雅思阅读文本大多选自关注科学技术发展或学术研究问题的书籍与学术性杂志。 s 雅思改编前后多项文本特征指标没有显著性差异,而六级改编后很多文本性特征(词汇、句法、显性衔接、文本抽象性、Flesh易读度)有显著差异。 |
听力长对话构念 | s 三项考试听力长对话主要测量了语法知识和认知策略及部分元认知策略,说明三项考试的构念效度较好。 s 三项考试听力长对话都未测量语用知识和社会语言知识,且都有构念无关知识和构念无关策略使用,对三项听力长对话的构念都形成了一定威胁。 | s 托福构念的无关知识比例最高,六级其次,雅思最低。 s 托福听力长对话构念无关因素还涉及阅读策略。 |
阅读构念 | s 三项考试均考查了单句、句间和段落三个信息层面的知识,且考查比例均按单句、句间和段落依次递减;三项考试都考查了受试理解细节、理解大意和推断的能力,表明三项考试均注重考查考生是否理解阅读材料并能读出言外之意。 s 三项考试受试的答题过程与预期答题操作的拟合度高,说明三项阅读测试均有较好的构念效度。 s 三项考试受试都有不同程度的不符合答题预期操作却选对正确答案、或理解错误却选对答案、或推理解释不清却选对答案的情况,说明存在对构念无关信息或技能的使用,这对三项考试的构念形成了一定威胁。 | s 托福受试答题过程使用排除法的比例最高,六级理解错误但答对题的比例最高,雅思推理解释不清但答对题的比例最高。 |
会话特征 | s 三项口语测试考官和考生都表现出较为丰富的话轮转换关联位置特征,均能使用多样化的话轮保持方式,且都能提供话轮。 s 三项口语测试都基本按照一问一答的序列结构展开,且大都按照毗邻语对的形式展现。 s 三项口语测试考官和考生都没有体现他人修正和他人启动–自我修正。 | s 雅思考官和考生表现出的话轮转换关联位置特征和比邻语对最丰富,六级、托福其次。 s 雅思考官会发起自我启动–自我修正;雅思考生和托福考生同样会发起自我启动–自我修正,但是六级考生未发起自我启动–自我修正。 |
主题发展 | s 三项口语测试的考官都会根据事先给定的题目发起提问,并使用明确指示标志来转移话题。 s 考生都会按照保持主题发展时长和发音准确性、词汇和语法使用多样性和准确性的要求发展主题。 | s 雅思考官和考生管理主题发展的策略最丰富,六级、托福其次。 |
---|---|---|
口语反拨效应 | s 三项口语测试的考生都有中等偏强的成就性和工具性测试使用认识;有中等偏肯定的测试设计评价;有中等偏高的自我效能;有中等偏积极的反拨效应和中偏负面的反拨效应。 s 都倾向于认为语言技能和测试技能在三项口语测试中都很必要;考生语言技能发展在三项口语测试之间没有显著性差异。 | s 六级与雅思、六级与托福在多项上存在显著差异,而雅思与托福之间相似程度很高。 s 六级与托福在工具性使用和对测试设计的评价方面没有显著性差异。 |
写作反拨效应 | s 考生有较强的成就性工具使用和中等的工具性测试使用;对写作测试任务设计比较认可;有比较积极的反拨效应和中等偏弱的消极反拨效应;技能提升和记忆两项备考活动频率均为中等。 s 上述这些方面三项写作的反拨效应没有显著差异。 | s 考生在非写作能力和备考管理方面均有显著差异,均为雅思最高,托福、六级其次。 s 六级与雅思、六级与托福在自我能力认知、自我效能、主观任务价值、备考过程投入多方面存在显著差异,但雅思和托福差异不显著。 |
表1. 六级、雅思、托福考试效度的异同
除了上述主要研究结论,本课题为三项考试不同利益相关群体提出了以下针对性对策建议。
1) 考生:大力加强真实语言材料输入,阅读六级、雅思、托福考试文本来源报刊杂志、新闻网站、广播电台、学术教材、著作等,如《时代周刊》、《经济学人》、《卫报》、《纽约时报》、《新科学家》、《国家地理》等。加强实践性练习,切实提升语言综合运用能力。要深信“语言学好了,考试没问题”。促进成就性测试使用,增强能力自我认知,提升自我效能,加强社会情感策略和备考管理,加大学习投入等。
2) 教师:通过语言教学,培养学生人生胜任力(life competencies)。充分利用现有教学资源,更新教学内容。关注学生情感因素,如鼓励他们建立学好语言的信心,降低考试焦虑度,实现“三全育人”。
3) 考试设计者/考试机构/决策者:提升命题质量,全面测量受试的语言能力和策略能力,如在听力测试中加强语用知识和社会语言知识的考查,在阅读中加强语篇层次的考查,丰富考试题型。避免构念无关因素影响,如字面匹配、随机猜题、背景知识运用等。改善测试环境,提供高质量、有代表性、连贯性、完整性的样本视频、样题、备考材料等。提供明晰的评分标准,做到标准化与人性化的统一,确保考试的公平性、公信力和透明度。
本研究探索、验证、丰富和发展了效度研究理论,充实、完善和建立了新的效度研究模型,尤其是三项考试效度对比研究的多个子框架或模型,比如听力长对话测试构念描述框架,三项阅读测试分析框架,三项口语考试考生反拨效应理论框架,写作考试考生反拨效应理论框架等,为今后其他大规模、高风险考试的效度研究,尤其是效度对比研究,提供了理论和方法上的借鉴。
本课题为考生的学习、教师的教学提供了富有建设性的意见和建议,为三项考试设计者/考试机构/决策者进一步提高命题质量、施测环境、评分标准等提供了具有针对性和可操作性的方案与决策依据,为语言测试研究者和工作者以及对此感兴趣的广大读者提供了思路和方法上的参考。
由于三项考试涉及的考生人数达数千万,对其效度的对比研究的社会价值难以估量。本研究有理论、有实践,有数据、有分析,论点鲜明、论据充分、论证有力。研究成果具有启迪性、说服力和实用价值,部分成果在国内高校、出版社、科研机构,如上海交通大学、武汉大学、四川大学、大连理工大学、东北师范大学、西安交通大学、外语教学与研究出版社、高教出版社等上百场学术讲座、工作坊上分享,而且在中小学国培计划、中小学外语教学与研究中得以应用,如词汇复杂度、阅读文本选择与改编等的研究思路与方法已经应用于高考、高中英语教材、报刊等的研究与中小学教学实践,并通过个人和机构的微信公众号、出版社网课等得以广泛传播,受益人次达数十万。
人才培养的国际化及可持续发展可能是本课题最大的社会效益。依托该课题研究,我们带动和培养了一批国际化的语言测试工作者和研究者,正在实现可持续发展。在研期间,课题负责人受聘世界一流测试机构(剑桥大学英语考评部)高级学术研究顾问。一位课题组成员应聘到国外高水平大学任专职研究员,四位团队成员获国家留学基金委全额奖学金境外、国外攻读博士学位,两位获得国际英语教育研究基金会首届硕士研究奖。课题部分成果在国际高水平会议上宣读,如国际语言测试界最高级别会议语言测试国际研讨会年会(LTRC),欧洲语言测试者协会年会(ALTE),亚洲语言测试者协会年会(AALA),国际英语教师协会年会(IATEFL)等;在世界一流大学做专题研讨,如剑桥大学、纽约大学、香港理工大学等;部分成果在国际高水平期刊发表,如Applied Linguistics,TESOL Quarterly,Language Testing,Language Assessment Quarterly,Assessment & Evaluation in Higher Education,Innovations in Education and Teaching International,System等。
另外,课题组有三位成员从硕士生导师晋升为博士生导师,一位课题组成员博士论文获省优秀博士论文,两人硕士论文被评为市优秀硕士论文,五名团队成员获国家奖学金,多人次被评为优秀青年教师、优秀研究生、优秀毕业生、优秀共产党员。我们因此建立起了一支成长型和研究型语言测试团队,领衔了中国大百科全书语言测试词条的编制,成为了雅思、托福、普思、剑桥英语系列考试与《中国英语能力等级量表》对接的专家组成员,并申请获得国际合作语言测试研究基金项目、教育部人文社科项目、中央高校基金重大项目和跨学科项目等。因为该项目而建立的跨学科导师团队最近被评为市级研究生导师团队,正在实现可持续发展。课题负责人因其在科学研究和人才培养中的突出成绩,于今年获得国家留学基金委高级访问学者奖,将再赴剑桥大学访问与合作研究。课题组和团队期望通过人才培养的国际化和可持续发展,为我国语言测试与研究的国际化贡献力量。
1) 文献综述和研究方法分布在各章
本课题设计的重心是基于证据的系列实证研究,课题组在设计的时候认为每项实证研究都会涉及相关的文献综述和研究方法,为了避免重复和方便专家审读,专著中没有单独设文献综述和研究方法两章。不过这样的谋篇布局可能给人印象两个部分不够集中或凸显。
2) 差异成因阐释不够深入
课题实证研究数据十分丰富,发现了三个考试效度的异同,尤其是差异,但对差异的成因阐释不够深入。三个考试的目的、构念、考试形式、考试题型、受试的水平等有诸多不同,因此对于考试对比发现的差异,其成因本身很难阐释。
3) 创新性研究还处于起步阶段
创新性研究在本课题中属于延伸性研究,尚处于起步阶段。因为主客观原因,创新性研究推进相当艰难。主观原因在于跨学科难度大,耗时长;客观原因在于有些资源我们无法获取,比如数据挖掘文本分类中三个考试的样本太小。另外,有些设备迟迟不能到位,比如眼动设备因行政、财务管理缺乏灵活性和经费使用严格受限,至今没有到位,课题中的眼动实验设备是2019年暑假课题组临时租借的。
4) 三项考试的社会性影响研究不足
关于三项考试的社会性影响我们也进行了相关的研究,比如考试结果的使用,2015年我们调查了中国财富500强企业对三项考试结果的使用,发现只有12家企业对雅思和托福成绩有要求,而且要求参差不齐,其余全部是对四六级考试成绩的要求。我们很希望跟踪调查在“一带一路”倡议下,在雅思和托福与《中国英语能力等级量表》对接结果公布之后,中国财富500强企业对三项考试结果的使用是否有变化,如果有,变化的成因是什么。另外,我们对知乎问答社区上三个考试的考生上百万词的经验帖进行了初步分析,非常意外地发现三项考试考生的备考模式非常相似。只是这两项研究比较类似于调研报告而非学术研究,尚需更深入的调研,所以未将其收入此专著。
5) 研究受试的代表性不足
虽然课题组尽了最大的努力通过多种渠道(纸质、网络、考试、实验等)收集考生数据,但三项考试考生的样本量和代表性仍然很不足,因此未能将受试分为高中低不同水平组进行研究。此外,本课题研究对象未涉及三项考试其他利益相关者群体,比如教师、培训机构、教育主管部门等。
6) 平行研究成果呈现未能高度统一
本课题研究远比申报时预计的庞大和复杂,需要多个强有力的团队通力合作,而我们只有一个团队,且在成长中。团队由本科、硕士、博士、青年教师、研究员、副教授、教授组成,尽管我们考虑了效度对比研究在每个方面都尽可能有平行研究,以获取充分的证据并实现数据的三角验证,但平行研究相对独立,最后很难保证平行研究的逻辑、内容、思路、方法和结果的呈现高度统一。
根据上述研究中存在的不足,我们对未来的考试效度对比研究提供如下启示与建议:
1) 高水平、高质量文献输入,穷尽性文献收集、系统性文献综述是效度对比研究必须完成的第一步,是做好顶层研究设计的基石。
2) 借鉴其他学科的理论、实证研究的方法,挖掘、分析、阐释效度对比研究发现的异同背后的成因。
3) 加强考试的社会性、公平性、考试结果的使用等研究,充分利用大数据方法,挖掘更多类型的语言测试数据,如论坛或贴吧上关于备考和考试的讨论以及经验帖、相关的考试政策和文件、历年考试真题、考生关于备考的日志或学习记录等。
4) 要从不同利益相关者收集证据,尤其要关注不同利益相关者的过程性证据。
5) 坚持不懈提升团队能力,尤其是跨学科团队建设与合作。效度研究是一个持续收集多方面效度证据的过程,一项考试的效度验证已经是一个系统工程,而考试效度对比研究涉及多项考试,其工作量更为庞大,需要强大和强有力的团队,尤其是跨学科团队的通力合作与支持。课题研究是高等教育,尤其是硕士、博士研究生培养必不可少的一部分,是培养学生创新思维、实践能力、团队精神和社会责任感的重要途径;坚持不懈加强团队建设,通过传、帮、带,既要提升团队的整体科研能力,又要培养团队不断创新、无尽求索的科研精神。团队、团队精神和科研精神是出色完成任何考试效度对比研究,甚至任何学术研究的前提条件。
国家社科基金重点项目“基于证据的四六级、雅思、托福考试效度对比研究”(14AYY010)。
辜向东. 《传承性与创新性:基于证据的六级、雅思、托福考试效度对比研究》引介 An Introduction to Continuity and Innovation: An Evidence-Based Comparative Validation Study of CET-6, IELTS and TOEFL iBT[J]. 国外英语考试教学与研究, 2020, 02(04): 184-194. https://doi.org/10.12677/OETPR.2020.24018