- 著者
-
岡野 将士
宇都 雅輝
- 出版者
- The Institute of Electronics, Information and Communication Engineers
- 雑誌
- 電子情報通信学会論文誌 D (ISSN:18804535)
- 巻号頁・発行日
- vol.J104-D, no.8, pp.650-662, 2021-08-01
近年,大規模な記述・論述式試験のニーズの高まりに伴い自動採点に注目が集まっている.自動採点手法として深層学習に基づくモデルが近年多数提案され,高精度を達成している.深層学習自動採点モデルを利用するためには,大量の採点済み答案データを用いてモデルの学習を行う必要がある.大量の答案の採点作業は一般に多数の評価者で分担して行われるが,そのような場合,個々の答案に与えられる得点が評価者の特性に強く依存してしまう問題が知られている.このような評価者バイアスの影響を受けたデータから自動採点モデルを学習すると,評価者バイアスの影響がモデルにも反映されてしまい,予測性能が著しく低下する.他方で,教育・心理測定の分野において,評価者バイアスの影響を考慮して得点を推定できる項目反応モデルが近年多数提案されている.そこで本研究では,この項目反応モデルを組み込んだ,評価者バイアスに頑健な深層学習自動採点手法を提案する.提案手法は,これまで等閑視されてきた学習データ中の評価者バイアスの問題に着目した初めての手法である.また,特定の自動採点モデルに依存する手法ではなく,様々な自動採点モデルにおいて評価者バイアスに頑健なモデル学習と得点予測が期待できる.