著者

國分 智晴 酒井 哲也 齋藤 佳美 筒井 秀樹 真鍋 俊彦 藤井 寛子 小山 誠

出版者

一般社団法人電子情報通信学会

雑誌

電子情報通信学会技術研究報告. NLC, 言語理解とコミュニケーション (ISSN:09135685)

巻号頁・発行日

vol.105, no.203, pp.47-54, 2005-07-15

---

近年, 質問応答システムに関する研究が盛んに行われているが, システムの回答精度と, どれぐらいのユーザが満足するかとの関係が明確になっていなかった.そこで, 質問応答の利用シーンとしてデスクトップ型およびモバイル型の2種類を想定し, シーン別に正解順位に対する満足の度合いを評価するアンケートを行った.この結果, 回答候補を一括提示するデスクトップ型におけるユーザ満足率は質問応答の一般的な評価尺度である逆数順位と似た曲線となるが, 回答候補をひとつずつ提示するモバイル型におけるそれは順位とほぼ比例することが分かった.このため, ユーザ満足率の観点からシステムの目標精度を設定するには, 平均逆数順位ではなく正解順位の分布を決定することが望ましいことを示す.