著者

髙橋 寛治 竹野 峻輔 山本 和英

出版者

一般社団法人 人工知能学会

雑誌

人工知能学会論文誌 (ISSN:13460714)

巻号頁・発行日

vol.32, no.5, pp.D-H33_1-4, 2017-09-01 (Released:2017-09-01)

参考文献数

7

---

This paper presents a novel metric for evaluating stability of machine translation system. A stable system indicates that it keeps almost the same outputs given the inputs with slight changes. In this paper, we propose a stability metric by exploiting TER metric for evaluating the differences between the two texts. We have built an evaluation data set, and demonstrate that a neural-based method is unstable rather than a statistical-based method, while the former outperforms the latter.

著者

竹野 峻輔 氏原 淳志 岩永 二郎

出版者

日本オペレーションズ・リサーチ学会 ; 1956-

雑誌

オペレーションズ・リサーチ = Communications of the Operations Research Society of Japan : 経営の科学 (ISSN:00303674)

巻号頁・発行日

vol.62, no.11, pp.731-736, 2017-11