- 著者
-
木谷強
小川 泰嗣
石川 徹也
木本 晴夫
中渡瀬 秀一
芥子 育雄
豊浦 潤
福島 俊一
松井 くにお
上田 良寛
酒井 哲也
徳永 健伸
鶴岡 弘
安形 輝
- 出版者
- 一般社団法人情報処理学会
- 雑誌
- 情報処理学会研究報告データベースシステム(DBS) (ISSN:09196072)
- 巻号頁・発行日
- vol.1998, no.2, pp.15-22, 1998-01-19
- 被引用文献数
-
33
日本語情報検索システム評価用テストコレクションBMIR-J2は、情報処理学会データベースシステム研究会内のワーキンググループによって作成されている。BMIR-J2は1998年3月から配布される予定であるが、これに先立ち、テスト版としてBMIR-J2が1996年3月からモニタ公開された。J1は50箇所のモニタに配布され、多数の研究成果が発表されている。BMIR-J2では、J1に対するモニタユーザからのアンケートの回答と、作成にあたったワーキングループメンバの経験をもとに、テストコレクションの検索対象テキスト数を大幅に増やし、検索要求と適合性判定基準も見直した。本論文では、BMIR-J2の内容とその作成手順、および今後の課題について述べる。BMIR-J2, a test collection for evaluation of Japanese information retrieval systems to be released in March 1998, has been developed by a working group under the Special Interest Group on Database Systems in Information Processing Society of Japan. Since March 1996, a preliminary version called BMIR-J1 has been distributed to fifty sites and used in many research projects. Based on comments from the BMIR-J1 users and our experience, we have enlarged the collection size and revised search queries and relevance assessments in BMIR-J2. In this paper, we describe BMIR-J2 and its development process, and discuss issues to be considered for improving BMIR-J2 further.