28 0 0 0 OA 自然言語処理×教育における説明能力 ―説明できるライティング評価技術への新しい展開―
- 著者
- 乾 健太郎 石井 雄隆 松林 優一郞 井之上 直也 内藤 昭一 磯部 順子 舟山 弘晃 菊地 正弥
- 出版者
- 一般社団法人 電子情報通信学会
- 雑誌
- 電子情報通信学会 基礎・境界ソサイエティ Fundamentals Review (ISSN:18820875)
- 巻号頁・発行日
- vol.16, no.4, pp.289-300, 2023-04-01 (Released:2023-04-01)
- 参考文献数
- 54
自らの判断を説明できる能力は自然言語処理システムに期待される重要な要件である.説明はコミュニケーションであるから,説明できる能力についても,説明の目的や受け手との共通基盤化といったコミュニケーションの概念とリンクさせて研究することが望ましい.ライティング評価はそのような研究を進める格好の応用領域である.ライティング評価は,教育シーンにおいて学習者が産出するテキスト(記述式答案や論述文など)の質を評価・診断し,学習者にフィードバックすることによって学習を支援するタスク群を指す.教育目的の評価では説明は本質的に重要であり,したがってそこには説明の目的や手段など,教育学的な研究や実践の蓄積がある.ライティング評価ではそうした蓄積とリンクさせながら「説明できる自然言語処理システム」の研究を進めることができる.本稿では,ライティング評価における説明に焦点を当て,どのような評価タスクにどのような説明方法が考えられるか,どのような技術的実現手段が考えられるか,を論じる.近年の研究動向を概観しながら,内容選択,言語産出各レイヤの評価における説明生成の可能性を論じ,研究者のこの領域への参入を呼びかけたい.
7 0 0 0 OA 大規模言語モデルによる高品質反論文の自動生成
- 著者
- 尾崎 大晟 中川 智皓 内藤 昭一 井之上 直也 山口 健史 新谷 篤彦
- 出版者
- 一般社団法人 人工知能学会
- 雑誌
- 人工知能学会全国大会論文集 第37回 (2023) (ISSN:27587347)
- 巻号頁・発行日
- pp.4Xin111, 2023 (Released:2023-07-10)
教育現場をはじめ,批判的思考力の育成が求められている.議論における適切な反論例を被教育者に示すことは重要である.しかし,教育者が多様な反論例を考えたり,評価したりすることは負担が大きい.そこで本研究では,批判的思考力育成に有効かという観点から,昨今注目を浴びている大規模言語モデルであるGPT-3と,オンラインディベートフォーラムの議論を用いて,自動生成される反論文の品質評価,及びGPT-3を活用する上での生成文の高品質化可能性の検証考察をすることを目的とする.収集した議論例からGPT-3へのプロンプトを作成し,トピック毎に生成文をまとめ,収集した反論と生成した反論の同項目でのスコアリングによる人手での評価と,BERTScoreによる文章一致率評価をする.結果として「反論文単体での論理の正しさ」と「立論に対しての反論文になっているか」の項目において高い数値を得た.また生成した反論は収集した反論とBERTScore上高い類似度であることを示した.各評価項目毎の入力文と生成文の比較,並びに入力方式毎の生成の相違点,今後の課題について報告する.