2 0 0 0 OA スーパーコンピュータTSUBAME上でのMapReduceの実現
- 著者
- 佐藤 仁 小西 史一 山本 泰智 高木 利久 松岡 聡
- 雑誌
- 研究報告ハイパフォーマンスコンピューティング(HPC)
- 巻号頁・発行日
- vol.2009-HPC-123, no.6, pp.1-7, 2009-11-23
TSUBAME 上で Hadoop を実行するためのツール 「Tsudoop」 を開発した.Tsudoop は,既存システムの構成や運用方針の変更をすることなく,TSUBAME 上のジョブスケジューラである n1ge や Lustre ファイルシステムなどと協調して動作して Hadoop 実行環境を構築し,ユーザの MapReduce アプリケーションを実行する.予備実験として,このツールを用いて,生物医学系の学術論文を対象にした書籍情報データベースである MEDLINE に対してテキストの全文検索を行うアプリケーションを実行した.その結果,1 ノード (16 コア) での実行と 32 ノード (512 コア) での実行とを比較して 14 倍の性能向上を示し,TSUBAME のような高速な共有ファイルシステムやジョブスケジューラが存在するような計算環境でも,MapReduce アプリケーションの実行が可能なことを確認した.