| 全文共7459字，建议阅读时长7分钟 |
本文由《数字教育》授权发布
作者： 陈耀礼 唐万梅
摘要
构建学生在线考试满意度模型，分析变量对满意度影响程度，进而提出改进策略，对提升在线考试的质量有着重要的理论意义和现实意义。本研究以重庆某高校300 名学生为研究对象，通过发送调查问卷的方式收集数据，使用SPSS 和AMOS 软件统计分析数据，然后使用结构方程模型进行路径分析。统计分析结果显示：高校学生在线考试总体满意度一般。结构方程模型路径分析结果显示：潜在变量“考试坏境”对总体满意度影响最大，潜在变量“试卷管理”对总体满意度影响最小。跟踪调查发现，针对各潜在变量下因素负荷量较大的测量变量提出相应建议及改进措施，可有效提升学生在线考试满意度。
关键词：在线考试；满意度；结构方程模型
引言
考试作为各类人才选拔和检测知识水平的一种重要手段，是目前检测知识和考核人才的重要、高效方式[1]。在高校课程考核中，考试可以客观评价考生的素质水平、考试状态和教师的教育水平、教育质量。传统考试通常以纸笔为工具，随着教育信息化的不断推进，以计算机和网络为主要平台的在线考试逐渐成为主流[2][3]。在线考试在试卷管理、考试管理、试题评阅、考试结果分析等方面比传统笔试更具优势，因此目前在各大高校各大学科中得以广泛应用[4]。
目前，基于在线考试的研究更多侧重于推进与应用，对在线考试满意度影响因素的研究较为缺乏。结构方程模型整合了因素分析和路径分析两种分析方法，在建立逻辑关系的基础上解决了抽象概念即潜变量的问题，通常被教育学者用来进行教育管理因素分析[5][6][7]。利用结构方程模型法研究高校学生在线考试满意度与潜在影响因素间的关系，对推动在线考试和高校教育信息化的发展有着积极意义。
一、研究方法
（一）用户满意度调查法
用户满意度调查法[8]，是指通过量化、评级或口头调查等方法来调查用户对产品或服务的满意程度的方法，以获取用户对该产品或者服务的看法，从而提升产品质量和改进服务水平。通常来说，用户满意度是用户在购买某种商品或享受某种服务时，对商品或服务所体现出的价值与用户期望价值的一种实际心理反差[9]。本文在在线考试满意度研究过程中引入用户满意度调查法，在构建在线考试满意度模型后，设计在线考试满意度调查问卷，对学生用户进行满意度调查，以了解学生对在线考试的综合满意程度。
（二）结构方程模型法
结构方程模型[10]是利用变量的协方差矩阵来分析变量间关系的一种方法，一个完整的结构方程模型应包含潜在变量、测量变量与误差变量[11]。结构方程模型通常采用极大似然估计法对模型进行参数估计，分析模型的参数估计结果可获得自变量对因变量的直接影响效果、间接影响效果或总影响效果。[12]结构方程模型方法需事先建立概念模型，大致过程为，首先对无法直接测量关系的变量间建立关系模型，然后根据模型关系，推测并找出可测量的观察变量。结构方程模型建构要经过模型设定、模型检验和模型修正等几个步骤[13]，本文使用结构方程模型法，旨在得出各潜在变量及测量变量对在线考试总体满意度的影响程度。
二、测量与分析
（一）构建假设模型
本研究以福内利（Fornell）[14]提出的影响用户满意度因素为理论指导，结合在线考试出题、考试、阅卷等方面的特点，构建以学生用户满意度为主的在线考试满意度评价指标体系，并以“试卷管理”“考试环境”“试题安排”“考试公平”和“考试便捷”作为潜在变量的类别参数（依次用A、B、C、D、E 代替）， 每个潜在变量下设置多个测量变量（依次用A1-A5、B1-B4、C1-C4、D1-D4、E1-E4 代替）， 构建出SEM假设模型，如图1 所示。
（二）问卷内容
本研究针对重庆某高校计算机学院316 名学生进行了问卷调查，共发放问卷316 份，回收有效问卷300 份，回收率为95%。问卷指标分值设置采用李克特量表（Likert Scale）[15]五点计分法，在线考试满意度评价指标体系如表1 所示。
（三）问卷信度、效度分析
将有效问卷中各个测量指标评价数据导入SPSS 和AMOS 软件进行信度、效度分析。
信度分析如表2 所示。潜在变量的克朗巴哈α系数(Cronbach’s Alpha，简称CA) 在0.838 ～ 0.902 之间，总量表的信度系数为0.919，表示调查问卷具有较高的信度。
效度分析如表3 所示。对问卷数据进行KMO 值和Bartlett 球形检验，结果显示显著性P 值为0.000 （P<0.001），通过Bartlett 球形检验，KMO 值=0.894 ＞ 0.70，表示样本数据效度良好，适合进行因子分析。
根据标准化回归系数和误差变异量可以计算潜变量的组合信度(Composite Reliability，简称CR)，组合信度可作为检验潜在变量的信度指标。[16]平均方差提取量（AverageVariance Extracted，简称AVE） 可直接显示被潜在变量所解释的变异量有多少来自测量误差，AVE 值越大，相对测量误差就越小。[17]一般判别标准是要大于0.5。AVE 值在0.6016 ～ 0.6529 之间，说明测量变量对潜在变量的解释性较好。
（四）问卷结果分析
对“你对目前的在线考试总体上满意吗？（题项符号F1）”一题进行统计，统计结果如图2 所示。分析问卷初期统计结果，学生用户对在线考试满意度评价均值为3.47（满分为5），满意程度一般，因此有必要继续采取结构方程模型分析法，得出各变量对总体满意度的影响程度及影响力大小，进而针对影响力较大的变量提出改进措施，以提升在线考试总体满意度。
（五）模型检验与修正
以“ 试卷管理（A）” 为潜在变量，A1、A2、A3、A4、A5、A6 为观察变量，在AMOS 软件中设计并分析测量模型A，如图3 所示。结果显示：模型路径系数均大于0.5，但显著性系数P=0.000<0.05、自由度卡方比值=5.724>3、AGFI=0.865<0.9、RMSEA=0.126>0.08，未达适配指标的临界值，该测量模型需要进行模型修正。同理，在AMOS 软件中分别将“考试环境（B）”“试题安排（C）”“考试公平（D）”“考试便捷（E）”作为潜在变量，对应以B1-B4、C1-C4、D1-D4、E1-E4 作为观察变量设计测量模型B、测量模型C、测量模型D、测量模型E。
修正假设模型A： 观察AMOS Output 中的Modification Indices（修正指标）发zz 现假设模型A 中测量变量A1 的测量误差e1 同测量变量A6 的测量误差e6 间存在共变关系，测量变量A5 的测量误差e5 同测量变量A6 的测量误差e6 也存在共变关系。为降低卡方值，改善各个适配指标值以达模型适配，可添加一个双向箭头来释放测量误差间共变关系，或删除某一测量变量及其误差[18]。模型A 修改后如图4所示， 各适配指标均达适配标准，表示模型契合度良好。以此标准，分别检验和修正假设模型B、假设模型C、假设模型D、假设模型E。
当假设模型A、B、C、D、E 均达到适配标准后， 设计满意度假设模型F 如图5 所示。导入数据后发现模型某些适配指标低于临界值，经模型修正后，模型能够收敛识别，如图6所示，因此可根据模型路径系数和Output Text（AMOS输出文档）中相关适配指标系数得出结论[19]。
（六）影响因素分析
观察图6，五个潜在变量与满意度变量路径上的值是指变量转化为标准分数后计算得出标准化路径系数[20]，从直接效应来看，“考试环境（B）”对在线考试满意度影响最大，“试卷管理（A）”对在线考试满意度影响最小，影响能力第二到第四的分别是“试题安排（C）”“考试便捷（E）”“考试公平（D）”。
本模型中，表示测量变量对潜在变量的贡献率和影响力越大，因素负荷量值介于0.50 ～ 0.95 之间最优。[21]
按照潜在变量影响力大小顺序来看，潜在变量“考试环境（B）”的测量变量中，因素负荷量大于0.8的有B2（校园考场的硬件环境）=0.91，B3（考试平台的操作与实用环境）=0.86；潜在变量“试题安排（C）” 的测量变量中，因素负荷量大于0.8 的有C3（简答、论述类主观题数量）=0.87，C4（选择、判断类客观题数量）=0.97；潜在变量“考试便捷（E）”的测量变量中，因素负荷量大于0.8 的有E2（考试设备不限，可自行选择）=0.80，E4（考试场地不限，可自行选择）=0.90；潜在变量“考试公平（D）”的测量变量中，因素负荷量大于0.8 的有D2（集中统一考试）=0.81，D3（考试采用局域网）=0.90；潜在变量“试卷管理（A）”的测量变量中，因素负荷量大于0.8 的有A2（随机组卷）=0.89，A3（客观题电脑自动评阅， 主观题教师手动评阅）=0.85。
此外，潜在变量“考试公平（D）”与“考试便捷（E）”间系数为0.81，表示两潜在变量间存在相关性，其原因是在线考试的便捷性很大程度上会影响在线考试的公平性，如考试场地不受限制，在便捷的同时可能会出现作弊现象，影响考试公平。潜在变量“试卷管理（A）”与“考试环境（B）”间、e4 与e5、e10 与e11 等误差变量间也存在一定相关性，在提出改进策略时需兼顾考虑。
三、改进与反馈
（一）改进策略
按潜在变量影响力大小顺序，依次对每个潜在变量下因素负荷量大于0.8 的测量指标提出改进策略， 并对改进策略进行问卷回访，检验改进策略能否提升学生在线考试总体满意度。
（1）考试环境方面：考试环境的改进主要分为考场环境和考试平台环境。一是考场的硬件设施需要改善。经调查发现，高校机房设施多为老旧电脑，学生体验感较差，建议高校及时更新“老旧坏”设备。二是考试平台操作性、实用性需要提高。考试平台作为在线考试最重要的一环，除了要易于操作，还要便于学习，甚至可以打造成集作业、复习、练习、测验、考试于一体的综合学习平台。
（2）试题安排方面：试题安排的改进主要考虑题型设置是否合理。一是考虑到学生信息素养能力（如打字速度）存在差异，因此简答、论述等主观题数量不宜设置过多。此外，如果主观题数量过多，容易出现错别字，增加学生抵触情绪。二是在线考试题型应更多倾向或转化为选择、判断类客观题型，如计算题可转化为选择或填空题，计算题需要烦琐的计算公式和步骤，在线操作不方便，学生仍需在草稿纸上计算，导致在线考试的价值无法全部体现。
（3）考试便捷方面：考试便捷性的改进主要体现在如何选择考试时间、考试场地和考试设备。一是考试设备不限，可自行选择。在线考试设备的不限制，会直接影响考试场地的选择，如使用手机、平板电脑等移动设备进行在线考试，意味着随时随地都可进行考试，极大地提升了在线考试的便捷性。二是考试场地不限，可自行选择。考试场地的不限制打破了考试必须统一考场的传统，能节省部分资源，但如何提高考试公平性仍待解决，因此目前便捷性的改进更适合平时测验和课后作业等非正式考试。
（4）考试公平方面：考试公平性的改进主要体现在如何有效控制作弊现象。一是仍需集中统一考试。虽然在线考试提供了随时随地参加考试的可能，但涉及期末考试或其他重要考试时仍需统一时间和场地，这样既便于管理，又能有效抑制作弊，保证考试公平。二是考试可采用无互联网连接的局域网，学生登录学生端，在同一网络下考试，教师登录教师端，实时监控与提醒。
（5）试卷管理方面：试卷管理的改进主要分为出题和评阅两方面。出题方面，可采用随机组卷，在保证题型相同时题目不同，类似A、B 卷，或在保证题目相同时题目顺序不同。评阅方面，为提高试卷评阅的准确性，客观题由电脑自动评阅，主观题由教师手动评阅。
（二）效果反馈
在对提出的五方面进行策略改进后，对同一批受访对象中两个班级的学生进行跟踪问卷调查，问卷设置仍采用李克特量表五点计分法，问卷发放116 份，回收有效问卷107 份，问卷指标体系如表4 所示。
四、结论
本研究在理论与数据的支持下，构建了基于高校学生用户的在线考试满意度结构方程模型，针对模型分析所得出的结论，分别从考试环境、试题安排、考试便捷、考试公平、试卷管理方面提出了五大改进策略，在提出改进策略后的跟踪调研中发现，以上五个方面的改进策略能有效促进在线考试的优化升级，提高在线考试的效益水平，提升学生在线考试的综合满意度。
参考文献：
[1] 谭红春，金力，高洁. 通用在线考试系统的开发与设计[J]. 齐鲁工业大学学报( 自然科学版)，2016,30(5):51-54.
[2]GUO P,YU H F,YAO Q.The Research and Application of Online Examination and Monitoring System[C]//IEEE Inter-national Symposium on It in Medicine and Education.IEEE, 2011:497-502.
[3]ULLAH A,XIAO H,LILLEY M.Profile Based Student Authen-tication in Online Examination[C]//International Conference on Information Society.IEEE,2012:109-113.
[4] 厉浩，何建敏，佘明. 高校招生考试满意度的测度模型与实证分析[J]. 统计与决策，2015,(18):109-113.
[5] 陈巧云. 基于结构方程模型的高校教育信息化学生评价研究[J]. 电化教育研究，2016,(8):78-85.
[6] 杨文正，熊才平，丁继红，等. 教育信息资源质量满意度影响因素及机制研究：基于296 份中学教师调查问卷的结构方程模型分析[J]. 中国电化教育，2014,(5):104-112.
[7] 方旭，崔向平，杨改学. 慕课学习支持服务满意度研究：基于结构方程模型的视角[J]. 开放教育研究，2016,22(5):76-85.
[8] 朱俊亚. 用户满意度影响因素研究：基于产品创新的视角[D]. 成都：西南交通大学，2017.
[9]WIRTZ J,LEE M C.An Examination of the Quality and Con-text-Specific Applicability of Commonly Used Customer Satis-faction Measures[J].Journal of Service Research (S1094-6705), 2003,5(4):345-355.
[10] 吴明隆. 结构方程模型[M]. 重庆：重庆大学出版社,2012.
[11] 程开明. 结构方程模型的特点及应用[J]. 统计与决策， 2006,(10):22-25.
[12] 荣泰生. AMOS 与研究方法[M]. 重庆：重庆大学出版社，2009.
[13]KLINE R B.Principles and Practice of Structural Equation Modeling[J].Journal of the American Statistical Association (S0162-1459),2011,(12):101.
[14]Fornell Claes.A National Customer Satisfaction Barometer: The Swedish Experience[J].Journal of Marketing (S0022-2429), 1992,56(1):6-21.
[15]JAMIESON S.Likert Scale:How to (ab)Use Them[J].Medical Education(S0308-0110),2005,38(12):1217-1218.
[16] 张虎，田茂峰. 信度分析在调查问卷设计中的应用[J]. 统计与决策，2007,23(21):25-27.
[17]OHBA M.Software Reliability Analysis Models[J].IBM Journal of Research and Development(S0018-8646),1984,28(4): 428-443.
[18] 吴明隆. 结构方程模型：AMOS 的操作与应用[M]. 重庆：重庆大学出版社，2009.
[19] 邱皓政，林碧芳. 结构方程模型的原理与应用[M]. 北京：中国轻工业出版社，2009.
[20][21] 温忠麟，侯杰泰，马什赫伯特. 结构方程模型检验：拟合指数与卡方准则[J]. 心理学报，2004,36(2):186-194.
作者简介：陈耀礼（1995— ），男，重庆人，重庆师范大学硕士研究生，主要研究方向为学习分析、教育信息化；唐万梅（1965— ），女， 重庆人，重庆师范大学教授，博士，主要研究方向为机器学习、在线教育、翻转课堂等。
转载自：《 数字教育》 2019年 第2期 总第26期 高教数字校园栏目页码：34-39
排版、插图来自公众号：MOOC（微信号：openonline）
新维空间站相关业务联系：
刘老师 13901311878
刘老师 13810520758
邓老师 17801126118
微信公众号又双叒叕改版啦
快把“MOOC”设为星标
不错过每日好文☟
喜欢我们就多一次点赞多一次分享吧~
有缘的人终会相聚，慕客君想了想，要是不分享出来，怕我们会擦肩而过~
微信扫码咨询专知VIP会员
