This paper presents the design, development, and evaluation of a proposed revision platform assisting candidates for the International English Language Testing System (IELTS) writing exam. Traditional IELTS preparation methods lack personalised feedback, catered to the IELTS writing rubric. To address these shortcomings, the platform features an attractive user interface (UI), an Automated Essay Scoring system (AES), and targeted feedback tailored to candidates and the IELTS writing rubric. The platform architecture separates conversational guidance from a dedicated writing interface to reduce cognitive load and simulate exam conditions. Through iterative, Design-Based Research (DBR) cycles, the study progressed from rule-based to transformer-based with a regression head scoring, mounted with adaptive feedback. Early cycles (2-3) revealed fundamental limitations of rule-based approaches: mid-band compression, low accuracy, and negative $R^2$ values. DBR Cycle 4 implemented a DistilBERT transformer model with a regression head, yielding substantial improvements with MAE of 0.66 and positive $R^2$. This enabled Cycle 5's adaptive feedback implementation, which demonstrated statistically significant score improvements (mean +0.060 bands, p = 0.011, Cohen's d = 0.504), though effectiveness varied by revision strategy. Findings suggest automated feedback functions are most suited as a supplement to human instruction, with conservative surface-level corrections proving more reliable than aggressive structural interventions for IELTS preparation contexts. Challenges remain in assessing higher-band essays, and future work should incorporate longitudinal studies with real IELTS candidates and validation from official examiners.


翻译:本文介绍了一个旨在辅助国际英语语言测试系统(雅思)写作考试考生的修订平台的设计、开发与评估。传统的雅思备考方法缺乏针对雅思写作评分标准的个性化反馈。为弥补这些不足,该平台具备吸引人的用户界面、自动作文评分系统以及针对考生和雅思写作评分标准的定向反馈。平台架构将会话式指导与专用写作界面分离,以降低认知负荷并模拟考试环境。通过基于设计的迭代研究循环,本研究从基于规则的方法逐步推进到采用带回归头的基于Transformer的评分方法,并结合自适应反馈。早期研究循环(第2-3轮)揭示了基于规则方法的基本局限:中分段压缩、准确率低以及负的$R^2$值。第4轮研究循环实施了带回归头的DistilBERT Transformer模型,取得了显著改进,平均绝对误差为0.66且获得正的$R^2$值。这使得第5轮的自适应反馈得以实现,该轮反馈在统计上显示出显著的分数提升(平均提升+0.060分档,p = 0.011,Cohen's d = 0.504),但其效果因修订策略而异。研究结果表明,自动化反馈功能最适合作为人工教学的补充;在雅思备考情境中,保守的表面层次修正比激进的结构性干预更为可靠。评估高分档作文仍面临挑战,未来工作应纳入对真实雅思考生的纵向研究,并寻求官方考官的验证。

0
下载
关闭预览

相关内容

预知未来——Gluon 时间序列工具包(GluonTS)
ApacheMXNet
24+阅读 · 2019年6月25日
Seq2seq强化学习实战 (Pytorch, Tensorflow, Theano)
专知
15+阅读 · 2018年1月16日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员