著者

金子 正弘

出版者

一般社団法人 言語処理学会

雑誌

自然言語処理 (ISSN:13407619)

巻号頁・発行日

vol.29, no.4, pp.1279-1283, 2022 (Released:2022-12-15)

参考文献数

4

著者

三田 雅人 水本 智也 金子 正弘 永田 亮 乾 健太郎

出版者

一般社団法人 言語処理学会

雑誌

自然言語処理 (ISSN:13407619)

巻号頁・発行日

vol.28, no.1, pp.160-182, 2021 (Released:2021-03-15)

参考文献数

42

被引用文献数

1

---

文法誤り訂正の既存研究の多くはこれまで主に CoNLL-2014 評価データセットを用いた単一コーパス上で文法誤り訂正モデルを評価してきた.しかし,書き手の習熟度やエッセイのトピックなど様々なバリエーションのある入力文が想定される文法誤り訂正タスクにおいて,タスクの難易度は各条件下によって異なるため,単一コーパスによる評価では不十分であると考えられる.そこで本研究では,文法誤り訂正の評価の方法論として,単一コーパス評価は不十分であるという仮説に基づきコーパス横断評価の必要性について調査を行う.具体的には,4 種類の手法 (LSTM, CNN, Transformer, SMT) を 6 種類のコーパス (CoNLL-2014, CoNLL-2013, FCE, JFLEG, KJ, BEA-2019) で評価し,各コーパス間でモデル順位にばらつきが生じるかについて検証を行った.評価実験の結果,モデル順位は各コーパスによって大きく変動したため,既存の単一コーパス評価では不十分であることがわかった.また,横断評価はメタ評価方法としてだけではなく,実応用を見据えた場合においても有用であると考えられる.そこで,横断評価の有用性のケーススタディとして,文法誤り訂正の入力に想定される代表的な条件の一つである,書き手の習熟度を評価セグメントとした場合の横断評価について調査を行った.その結果,書き手の習熟度が初中級レベルと上級レベル間ではモデルの性能評価に関して大きな乖離があることがわかった.

著者

吉村 綾馬 金子 正弘 梶原 智之 小町 守

出版者

一般社団法人 言語処理学会

雑誌

自然言語処理 (ISSN:13407619)

巻号頁・発行日

vol.28, no.2, pp.404-427, 2021 (Released:2021-06-15)

参考文献数

35

---

信頼できる文法誤り訂正の自動評価手法の構築は,文法誤り訂正の研究および開発の発展に有用である.可能な参照文を網羅することが難しいため,先行研究では参照文を用いない自動評価手法が提案されてきた.そのうちの一つは,文法性・流暢性・意味保存性を評価する 3 つの評価モデルを用いることで,参照文を用いる手法よりも人手評価との高い相関を達成した.しかし,各項目の評価モデルは人手評価には最適化されておらず,改善の余地が残されていた.本研究では,より適切な評価を行える自動評価手法の構築を目的として,各項目の評価モデルを事前学習された文符号化器を用いて人手評価に対して最適化する手法を提案する.また,最適化に理想的である,訂正システムの出力文に対して人手評価が付与されたデータセットの作成を行う.実験の結果,項目ごとの評価モデルおよびそれらを組み合わせた手法の両方で,従来手法と比べて人手評価との相関が向上し,事前学習された文符号化器を用いることおよび訂正文の人手評価に最適化することの両方が貢献していることがわかった.分析の結果,提案手法は従来手法に比べて多くのエラータイプの訂正を正しく評価できていることがわかった.