著者
小山 智之 串田 高幸
雑誌
情報処理学会論文誌 (ISSN:18827764)
巻号頁・発行日
vol.63, no.2, pp.504-514, 2022-02-15

現在,Webサービスは広く利用されており,利用者の増加とともにアクセス数が増加している.アクセス数が増えるにつれ,サーバから生成されるアクセスログの件数は大規模になる.大規模なログの管理手法の1つである分散型は,ログを複数のノードに分散配置することで検索時のディスクI/Oにともなう負荷を分散している.分散型ログ管理の課題は,検索時のログへのアクセス傾向が十分に考慮されないためディスクI/Oが一部のノードへ偏り,検索の応答時間が高速でないことである.本研究では,Webアクセスログを対象とした検索クエリを想定した分散ログ配置により,検索の応答時間を削減する手法を提案する.具体的には,検索で発行されるクエリを想定し,それをもとにログに含まれる属性(PathやMethod,ノード名,日付)から特徴量を取り出し,ログの分割と再配置を行った.これにより,検索クエリにより偏るディスクI/Oを分散させ,検索の応答時間を削減した.評価では,86,400,000件のログを13台のノード上に3種類の手法(提案配置,ノード配置,時系列配置)により配置し,発行する検索クエリを変えながら検索の応答時間を比較した.その結果,提案配置は他の配置に比べ最大32秒の短縮を行った.

言及状況

外部データベース (DOI)

Twitter (1 users, 1 posts, 1 favorites)

情報処理学会論文誌へCDSLに所属する学生の論文が掲載されました。 小山 智之,串田 高幸,"検索クエリに配慮した配置による分散ログ検索の高速化", 情報処理学会論文誌, Vol.63, No. 2, pp. 504 - 514, Feb. 15, 2022. https://t.co/rSPzUppb0y

収集済み URL リスト