- 著者
-
大野 善之
堀 敦史
石川 裕
- 雑誌
- 研究報告ハイパフォーマンスコンピューティング(HPC)
- 巻号頁・発行日
- vol.2011-HPC-132, no.34, pp.1-6, 2011-11-21
並列ジョブにおける多数ファイルに対する I/O をひとつのファイルに対する I/O に集約することによりファイル I/O を高速化する方式を提案する.各プロセスごとにファイルを作成し,データを書き出すというファイル I/O パターンをとるアプリケーションが多くある.しかし,現在普及している並列ファイルシステムは,少数の大きなデータ I/O で高い性能がでるように設計されており,プロセスごとにファイルを作成するという I/O パターンでは高い性能がでない.そこで,並列ジョブにおけるファイル I/O をひとつのファイルに集約し,少数の大きなデータ I/O にする方式を提案する.Lustre 上で予備評価を行った結果,並列プロセスがそれぞれ 1MB のファイルを 128 個 I/O する場合,2-3 倍の性能向上を確認した.