著者

髙橋 寛治 竹野 峻輔 山本 和英

出版者

一般社団法人 人工知能学会

雑誌

人工知能学会論文誌 (ISSN:13460714)

巻号頁・発行日

vol.32, no.5, pp.D-H33_1-4, 2017-09-01 (Released:2017-09-01)

参考文献数

7

被引用文献数

1

---

This paper presents a novel metric for evaluating stability of machine translation system. A stable system indicates that it keeps almost the same outputs given the inputs with slight changes. In this paper, we propose a stability metric by exploiting TER metric for evaluating the differences between the two texts. We have built an evaluation data set, and demonstrate that a neural-based method is unstable rather than a statistical-based method, while the former outperforms the latter.

著者

髙橋 寛治 真鍋 友則

出版者

一般社団法人 言語処理学会

雑誌

自然言語処理 (ISSN:13407619)

巻号頁・発行日

vol.28, no.1, pp.297-301, 2021 (Released:2021-03-15)

参考文献数

2

著者

髙橋 寛治 糟谷 勇児 真鍋 友則 中野 良則 吉村 皐亮 常樂 諭

雑誌

デジタルプラクティス (ISSN:21884390)

巻号頁・発行日

vol.9, no.4, pp.808-822, 2018-10-15

---

Sansan(株)はクラウド名刺管理サービスを提供している.現在のデータ化精度は99.9%であり,ビジネスユースに耐え得る名刺読み取り精度を実現している.OCRのみではこの精度を実現できず,クラウドソーシングを活用することで高精度と低コストを実現している.本稿では,高精度かつ低コストなデータ化のためのクラウドソーシングの取り組み事例を紹介する.具体的には,(1)スパムワーカと疑われるワーカに対して,警告文を表示することで入力精度を89.4%から91.1%(入力ワーク時)に向上することができること,(2)報酬を2,3倍にした際の作業量の増加率が,それぞれ13.7%,31.8%(選択ワーク時)と必ずしも2,3倍にはならないことが分かったこと,(3)ワークの完了条件を2人のワーカの結果がマッチした時点と3人のワーカの結果がマッチした時点で変えた際に,入力精度に大きな差が見られなかったことなどを報告する. これらは既存の研究で報告された内容から逸脱するものではないが,実際の事業での応用において具体的な数値を元に報告したものとして有用な事例研究である.