著者
新井 紀子 松崎 拓也 犬塚 美輪 尾崎 幸謙 登藤 直弥 影浦 峡 藤田 彬
出版者
国立情報学研究所
雑誌
基盤研究(A)
巻号頁・発行日
2016-04-01 (Released:2016-04-21)

平成28年度は、リーディングスキルテストおよびアンケートを実施するためのソフトウェア、Reading Skill Test α版を設計した。また、その上で実施するテストの各問題タイプの仕様を策定した。テストでは、テキストベース での読解力スキルとして,Dependency (係り受け),Anaphora(照応),Paraphrasing(言い換え),Inference(推論),Representation(表象),Instantiation (具体例)の6つにターゲットを絞ることとし,知識を問わない読解処理の問題を1100問以上作成した。これからいくつかのテストセットを選定し、小学6年生から社会人まで2万人以上に対して、テストを実施し、データを収集した。その過程において、項目特性図を参考にして、不適切と思われる項目を除外し、最終的に困難度(b値)を推計できた問題を数百問整備した。その上で、調査を受けた2万人のうち1万人を超える受検者に対して能力値(θ)を推計し、テストの妥当性について検討した。その結果、読解力は学齢が上がるごとに上昇することが示されテストの妥当性を示すものである。また、学校の就学支援率が高いほどθが低くなり、また学校が駅から遠いほどθが低くなる、という結果を得た。本調査については、主要メディアに取り上げられ、文部科学省が実施する高大接続高校基礎テスト(パイロット版)においても採用され、実施された。本研究成果は、認知科学のトップカンファレンスであるCogSco2017に採択された。
著者
藤田 彬 藤田 央 田村 直良
出版者
一般社団法人 言語処理学会
雑誌
自然言語処理 (ISSN:13407619)
巻号頁・発行日
vol.19, no.4, pp.281-301, 2012-12-14 (Released:2013-03-19)
参考文献数
35

本稿では,文章に対する評点と国語教育上扱われる言語的要素についての特徴量から,個々の評価者の文章評価モデルを学習する手法について述べる.また,学習した文章評価モデルにおける素性毎の配分を明示する手法について述べる.評価モデルの学習には SVR を用いる.SVR の教師データには,「表層」「語」「文体」「係り受け」「文章のまとまり」「モダリティ」「内容」というカテゴリに分けられる様々な素性を用意する.これらには日本の国語科教育において扱われる作文の良悪基準に関わる素性が多く含まれる.なおかつ,全ての素性が評価対象文章に設定される論題のトピックに依存しない汎用的なものである.本手法により,文章の総合的な自動評価,個々の評価者が着目する言語的要素の明示,さらに評点決定に寄与する各要素の重みの定量化が実現された.
著者
藤田 彬 松崎 拓也 登藤 直弥 新井 紀子
出版者
一般社団法人電子情報通信学会
雑誌
電子情報通信学会技術研究報告 = IEICE technical report : 信学技報 (ISSN:09135685)
巻号頁・発行日
vol.114, no.366, pp.17-21, 2014-12-16

機械翻訳器の日常会話翻訳に対する性能を評価する試みについて紹介する.前もって日本語に機械翻訳された英語の対話文完成問題を被験者が解き,その得点を用いて翻訳器の外的な評価を行った.300名超の被験者を集めた大規模な調査により,評価対象とした翻訳器のうち一つが「人間が文脈を考慮せずに行った翻訳」と同等の性能を有することが明らかになった.本発表では,この調査の内容及び結果を詳述するに加え,一般的に用いられる内的な評価(自動・手動)との比較結果を紹介する.また,人間の対話理解において重大な障害をもたらす翻訳誤りとそうでない誤りを分類し,定量的に分析した結果を報告する.