- 著者
-
小川 泰嗣
木本 晴夫
田中 智博
石川 徹也
増永 良文
芥子 育雄
豊浦潤
福島俊一
宮内 忠信
- 出版者
- 一般社団法人情報処理学会
- 雑誌
- 情報処理学会研究報告データベースシステム(DBS)
- 巻号頁・発行日
- vol.1994, no.86, pp.145-152, 1994-10-13
- 被引用文献数
-
4
日本語を対象とした情報検索に関する研究開発では、性能(検索精度)の評価に開発元独自の方法が用いられてきた。このような状況に対し、われわれは「情報検索システム評価用データベース構築ワーキンググループ」を設置し、情報検索手法・システムを公正かつ客観的に評価するためのベンチマーク構築を目指している。本稿では、情報検索システムモデル・対象データの特性とサンプル件数・評価法・作成手順などベンチマーク構築に関する現在までの検討内容を報告する。In the research and development of Japanese information retrieval systems, different research groups have been using different measures to evaluate their system because there is no standard or benchmark for them. Our working group in IPSJ-SIGDBS has been developing such a benchmark, and in this report we will present several of its characteristics: IR models, the features and size of texts and queries, evaluation methods, and the development procedure of the benchmark.