- 著者
-
滝澤真一朗
松田元彦
丸山直也
- 出版者
- 一般社団法人情報処理学会
- 雑誌
- 研究報告ハイパフォーマンスコンピューティング(HPC)
- 巻号頁・発行日
- vol.2014, no.16, pp.1-9, 2014-09-25
計算科学アプリケーションには,そのワークフローを MapReduce モデルで容易に記述できるものも多く,MapReduce を採用することにより,実装の容易化,並列実行の自動化等の恩恵を受けられる.一方,計算科学アプリケーションは大規模並列システムで実行されるため,そのワークフローを実行する MapReduce 処理系にも高いスケーラビリティや,並列ファイルシステムに対応した高速 IO の実現が求められる.本研究では MapReduce 実行中の並列ファイルシステムへのアクセスの局所性を高めつつ,スケーラブルに動的負荷分散を行う処理系の実現を目指す.本稿では,並列ファイルシステム上のファイルの位置に基づく,該当ファイルを入力とするタスクを静的に割り振る手法を提案し,大規模並列システム向け MapReduce 処理系 K MapReduce に,京コンピュータを対象システムとして実装した.ファイル読み込み性能の評価を行った結果,N ファイルを N ノードが読み込む評価において,ランダムにファイルをノードに対応させた場合に対して,本提案は平均して 9 %の性能向上を達成した.また,1 ファイルを N ノードが読み込む評価においては,本提案は平均して 4.5 倍の性能向上となった.