著者

堀内 美希 田浦 健次朗

雑誌

研究報告ハイパフォーマンスコンピューティング(HPC)

巻号頁・発行日

vol.2011, no.38, pp.1-7, 2011-07-20

---

本研究の目的は,データ集約的な並列計算を行う際に重要な役割を担う,分散ファイルシステムの性能を,高遅延広帯域環境において向上させることである.現在の分散ファイルシステムは,高遅延環境で動作させると遅延の影響を受け,データ転送の際に広帯域を活かしきれていない場合がある.これを改善するため,本研究では積極的なデータプリフェッチ等により帯域を有効利用する分散ファイルシステム,Mogami の提案・実装・評価を行い,高遅延環境において,広帯域が達成できていることを確認した.これにより,複数拠点にまたがる高遅延環境を含む分散環境でデータ解析を行う場合の性能向上が期待される.This paper describes a distributed file system that utilizes wide bandwidth in high latency environments. Distributed file systems have been used as a way to share data for data intensive calculation. Existing distributed file systems, however, may fail to exploit the wide bandwidth due to high latency in the wide-area networks. To address this problem, we proposed and evaluated Mogami, a distributed file system that utilizes wide bandwidth even in high latency environment by aggressive data prefetching. In the evaluation we showed Mogami could achieve enough wide bandwidth to accelerate the data analyses in high-latency distributed environment.

著者

堀内 美希 田浦 健次朗

出版者

情報処理学会

雑誌

情報処理学会論文誌コンピューティングシステム(ACS) (ISSN:18827829)

巻号頁・発行日

vol.5, no.5, pp.128-137, 2012-10-15

---

分散環境でデータ集約的計算を行う際に重要な役割を果たす分散ファイルシステムであるが,高遅延環境でのファイルアクセスでは遅延の影響を受け,大幅にスループットが下がってしまうことがある.それを回避するために,アプリケーションに変更を加えず適応的に実行可能なアクセスデータの先読み手法を提案する.提案手法により,評価に用いた高遅延広帯域環境下でのファイルアクセスでは,シーケンシャルアクセスで約 700~800%, ストライドアクセスで約 300~400% の読み込みスループット向上を確認することができた.Distributed file systems play an important role for data intensive computation but current systems often fail to achieve good throughputs in high latency environments. To achieve a good access throughput, we propose a data prefetching method that can be adatively applicable without any modification to applications. In the evaluation environment with high latency and wide bandwidth, the proposed method achieved the "read" performance improvement of around 700 ~ 800% in sequential access and of around 300 ~ 400% in stride access.