著者
森 達哉 木村 達明 池田 泰弘 上山 憲昭 川原 亮一
出版者
一般社団法人電子情報通信学会
雑誌
電子情報通信学会技術研究報告. CQ, コミュニケーションクオリティ (ISSN:09135685)
巻号頁・発行日
vol.110, no.287, pp.5-10, 2010-11-11

本研究は分散コンピューティングシステムにおいてMapReduceによる大規模データ処理を実行した際にシステム全体に生じるワークロードをネットワークの観点から分析した結果を報告する.12台の計算機で構成されるHadoopクラスタを利用し,Masterサーバおよび各々のSlaveサーバで取得したMapReduce Jobのログ,およびSlaveサーバ間の通信をキャプチャしたデータを収集した.はじめにMapReduceジョブを構成する各々のタスクとネットワークに生じ得る負荷の関係をケーススタディによって明らかにする.つぎに,MapReduceに与えるパラメタによって,ノード間のデータ転送に用いられるTCPフローのサイズ,持続時間,レートの分布が変わることを示す.最後にMapReduceジョブによるネットワーク負荷を計測する際に注意すべき点について論じる.

言及状況

はてなブックマーク (1 users, 2 posts)

Twitter (1 users, 1 posts, 0 favorites)

めも「MapReduceのネットワーク負荷分析(ネットワーク品質,トラヒック計測,一般)Understanding the Characteristics of Network Workload for MapReduce」 http://t.co/s07rF3a5

収集済み URL リスト