2 0 0 0 OA パフォーマンス評価における多次元項目反応モデル
- 著者
- 八木 嵩大 宇都 雅輝 Shudai YAGI Masaki UTO
- 出版者
- 電子情報通信学会
- 雑誌
- 電子情報通信学会論文誌. D, 情報・システム (ISSN:18810225)
- 巻号頁・発行日
- vol.J102-D, no.10, pp.708-720, 2019-10-01
近年,受験者の実践的かつ高次な能力を測定する手法の一つとしてパフォーマンス評価が注目されている.しかし,パフォーマンス評価では,得られる能力測定値が評価者の特性に依存する問題が指摘されてきた.この問題を解決する手法の一つとして,評価者特性を考慮して受験者の能力を推定できる項目反応モデルが多数提案され,その有効性が示されている.他方で,これらのモデルは測定対象の能力に一次元性を仮定する.しかし,高次な能力の測定を目指すパフォーマンス評価では,複数の能力尺度で構成されるルーブリックを用いて採点を行うことが一般的であり,この場合には能力の一次元性は必ずしも満たされない.そこで,本論文では,評価者特性を考慮した多次元性項目反応モデルを提案する.提案モデルは,データから推定した最適な次元数の能力尺度上で,評価者特性を考慮した高精度な能力測定を実現できる.本論文では,提案モデルのパラメータ推定手法としてマルコフ連鎖モンテカルロ法に基づく手法を提案し,シミュレーション実験と実データ適用を通して提案モデルの有効性を示す
1 0 0 0 OA ルーブリック評価における項目反応理論
- 著者
- 宇都 雅輝 植野 真臣 Masaki UTO Maomi UENO
- 出版者
- 電子情報通信学会
- 雑誌
- 電子情報通信学会論文誌. D, 情報・システム (ISSN:18810225)
- 巻号頁・発行日
- vol.J103-D, no.5, pp.459-470, 2020-05-01
近年,学習者の実践的かつ高次な能力を測定する手法の一つとしてルーブリック評価が注目されている.ルーブリックは評価者の主観による評価基準をより客観的にするためのツールであるが,それでも評価がパフォーマンス課題や評価者,ルーブリックの評価観点の特性に依存してしまうことが指摘されてきた.この問題を解決する手法の一つとして,これらの特性を考慮して学習者の能力を測定できる項目反応モデルが近年多数提案されている.しかし,既存モデルは学習者・課題・評価者・評価観点で構成される4相の評価データに直接には適用できず,課題・評価者・評価観点の特性を同時に考慮した能力測定は実現できない.また,ルーブリック評価の評点は一般に段階カテゴリーとして与えられ,各カテゴリーに対する評価基準は評価者と評価観点の特性に依存する.しかし,既存モデルでは評価基準は評価者と評価観点のいずれか一方にのみ依存すると仮定している.以上の問題を解決するために,本論文では,評価観点と評価者の評価基準を考慮して,ルーブリック評価の4相データから学習者の能力を測定できる新たな項目反応モデルを提案する.また,シミュレーション実験と実データ実験を通して提案モデルの有効性を示す.