著者

愛甲 和秀 木下 雅文 小島 剛 畑﨑 恵介

雑誌

研究報告システム・アーキテクチャ(ARC) (ISSN:21888574)

巻号頁・発行日

vol.2015-ARC-215, no.5, pp.1-7, 2015-05-19

---

昨今,注目度が高まっている並列処理システム Spark の障害復旧処理モデルでは,データ量やタスク処理時間に連動してダウンタイムが長くなる,可用性劣化が問題となる場合がある.本研究では,Spark の可用性劣化の原因となるデータ復旧処理時間を短縮するため,Spark のメモリ上のデータ管理をインメモリ KVS で代替する方法を提案する.本方法は,データ書き込み時のノード間でのインメモリデータ複製処理と,障害時のノード内のインメモリ KVS のデータ配置情報と Spark のデータ配置情報の同期処理により,上記復旧処理時間を短縮する.その結果,従来法では障害復旧時間が数分かかる場合においても,提案技術を適用することによりダウンタイムを常に5秒以内に維持できるとの評価結果を得た.以上の結果から,提案方法が Spark のダウンタイムが増加する可用性問題の解決に有効であることが明らかになった.