著者

井上文雄 宇野篤也 塚本俊之 松下聡 末安史親 池田直樹 肥田元 庄司文由

雑誌

研究報告ハイパフォーマンスコンピューティング(HPC)

巻号頁・発行日

vol.2014-HPC-146, no.4, pp.1-5, 2014-09-25

---

「京」 では現在,通常は小中規模のジョブ (36,864 ノード以下) を実行し,大規模ジョブ (36,865~82,944 ノード) は特定の期間 (以下,大規模ジョブ実行期間) に実行するという運用を行っている.通常の運用では 「京」 の消費電力は契約電力内に収まっているが,大規模ジョブ実行期間において契約電力を超過する事例が発生した.頻繁な契約電力の超過は電力契約の見直し等につながり,運用に及ぼす影響は無視できないものである.そこで,これを回避するために,投入予定の大規模ジョブを消費電力の観点で事前に審査することにした.すなわち,過去の動作実績等から推測した大規模ジョブ実行時の消費電力が運用上の上限を超えないことが確認されたジョブのみ投入を許可することにした.加えて,消費電力を 24 時間監視できる体制の構築,及び最大電力量を超過した際のジョブ停止プロセスの整備など運用方法の変更を実施した.本稿では,これらの対策と今後の取り組みについて報告する.

著者

森下 浩二 横川 三津夫 宇野 篤也 石原 卓 金田 行雄

出版者

一般社団法人情報処理学会

雑誌

研究報告計算機アーキテクチャ(ARC)

巻号頁・発行日

vol.2014, no.17, pp.1-5, 2014-12-02

---

現在日本最速のスーパーコンピュータである 「京」 を用いて,一様等方性乱流の超大規模直接数値シミュレーション (DNS) を実現するために,地球シミュレータ向けに開発された,フーリエ・スペクトル法に基づく一様等方性乱流の DNS コードの 「京」 への移植,及び最適化を行った.移植の際には,従来の 1 次元分割によるデータ分散手法から,より効率的な All-to-all 通信が可能であると考えられる 2 次元分割による手法へと変更を行った.その結果,「京」 の 192×128 ノードを用いて最大格子点数 122883 の超大規模 DNS の実現に成功した.これはプロダクトランとしては世界最大の一様等方性乱流の DNS である.ピーク性能比として,格子点数 61443,81923,122883 の DNS でそれぞれ 3.84%,3.14%,2.24% の実効性能が得られた.また,コードの更なる高効率化のために,乱流 DNS 特有のアルゴリズムに対する最適化を試み,その性能評価を行った.

著者

松本 幸 安達 知也 住元 真司 曽我 武史 南里 豪志 宇野 篤也 黒川 原佳 庄司 文由 横川 三津夫

雑誌

先進的計算基盤システムシンポジウム論文集

巻号頁・発行日

vol.2012, pp.245-253, 2012-05-09

---

本論文では,82,944台の計算ノードをTofuインターコネクトと呼ばれる6次元の直接網で結合した「京」におけるMPI集団通信の高速化について述べる.従来のMPIライブラリには,トポロジを考慮したアルゴリズムが存在しないため,「京」のような直接網において性能を出すことができない.そのため,Trinaryx3と呼ばれるAllreduceを設計し,「京」向けのMPIライブラリに実装した.Trinaryx3アルゴリズムは,トーラス向けに最適化されており,「京」の特長のひとつである複数RDMAエンジンを活用することができる.実装を評価した結果,既存のトポロジを考慮していないアルゴリズムと比較して,5倍のバンド幅の向上を確認した.

著者

清水 俊幸 安島 雄一郎 吉田 利雄 安里 彰 志田 直之 三浦 健一 住元 真司 長屋 忠男 三吉 郁夫 青木 正樹 原口 正寿 山中 栄次 宮崎 博行 草野 義博 新庄 直樹 追永 勇次 宇野 篤也 黒川 原佳 塚本 俊之 村井 均 庄司 文由 井上 俊介 黒田 明義 寺井 優晃 長谷川 幸弘 南 一生 横川 三津夫

出版者

The Institute of Electronics, Information and Communication Engineers

雑誌

電子情報通信学会論文誌 D (ISSN:18804535)

巻号頁・発行日

vol.J96-D, no.10, pp.2118-2129, 2013-10-01

---

スーパーコンピュータ「京」の構成と評価について述べる.「京」はスパコンの広範な分野での利活用を目指した10PFLOPS級のスパコンである.我々は,デザインコンセプトとして,汎用的なCPUアーキテクチャの採用と高いCPU単体性能の実現,高いスケーラビリティのインターコネクトの専用開発,並列度の爆発に抗する技術の導入,高い信頼性,柔軟な運用性,省電力性の実現を掲げ,2011年にそのシステムを完成させた.HPC向けCPU,SPARC64 VIIIfxと,スケーラビリティの高いTofuインターコネクトを専用に開発し,並列度の爆発に抗する技術としてVISIMPACTを実装した.冷却やジョブマネージャ等により,高い信頼性,柔軟な運用性,省電力性を実現した.「京」は2011年6月と11月にTOP500で世界一となった.また,複数のアプリケーションで高い実行効率と性能を確認し,スパコンとしての高い実用性を示した.

著者

宇野篤也 庄司文由 横川三津夫

雑誌

研究報告ハイパフォーマンスコンピューティング(HPC)

巻号頁・発行日

vol.2012, no.22, pp.1-6, 2012-09-26

---

スーパーコンピュータ 「京」 や地球シミュレータなどの大規模システムでは,計算ノードのファイル I/O 性能を確保するために 2 階層のファイルシステムを採用しており,ジョブ実行の一連の作業としてファイルシステム間でファイルを移動させるファイルステージング機構をジョブスケジューリングに組み込んでいる.本稿では,ファイルステージングがジョブスケジューリングに与える影響等についてソフトウェアジョブシミュレータを用いて評価したので報告する.

著者

宇野 篤也 岩本 光夫 八木 学 横川 三津夫

雑誌

研究報告ハイパフォーマンスコンピューティング(HPC) (ISSN:21888841)

巻号頁・発行日

vol.2017-HPC-158, no.14, pp.1-5, 2017-03-01

---

近年,HPC システムの大規模化にともない,シミュレーション結果も膨大な量となっている.この膨大な計算結果を効率よく分析するための手段として,可視化等が用いられることが多く,可視化専用のハードウェアを搭載したシステムを利用することがよくある.この場合,シミュレーションを行ったシステムとのデータ連携が必要となる.これらのサーバが同一のサイトに設置されている場合は,ストレージ共有で対応できるが,異なるサイトに設置されているシステムを利用する場合には,ネットワーク経由でデータの転送を行うことになり,高速なデータ転送が求められる.今回,スーパーコンピュータ 「京」 と隣接する神戸大学統合研究拠点の計算科学教育センターに設置された可視化用計算サーバ 「π-VizStudio」 を直接ネットワークで接続し,データ転送性能評価を行ったので報告する.

著者

森下 浩二 横川 三津夫 宇野 篤也 石原 卓 金田 行雄

雑誌

研究報告計算機アーキテクチャ(ARC)

巻号頁・発行日

vol.2014-ARC-213, no.17, pp.1-5, 2014-12-02

---

現在日本最速のスーパーコンピュータである 「京」 を用いて,一様等方性乱流の超大規模直接数値シミュレーション (DNS) を実現するために,地球シミュレータ向けに開発された,フーリエ・スペクトル法に基づく一様等方性乱流の DNS コードの 「京」 への移植,及び最適化を行った.移植の際には,従来の 1 次元分割によるデータ分散手法から,より効率的な All-to-all 通信が可能であると考えられる 2 次元分割による手法へと変更を行った.その結果,「京」 の 192×128 ノードを用いて最大格子点数 122883 の超大規模 DNS の実現に成功した.これはプロダクトランとしては世界最大の一様等方性乱流の DNS である.ピーク性能比として,格子点数 61443,81923,122883 の DNS でそれぞれ 3.84%,3.14%,2.24% の実効性能が得られた.また,コードの更なる高効率化のために,乱流 DNS 特有のアルゴリズムに対する最適化を試み,その性能評価を行った.

著者

清水 俊幸 安島 雄一郎 吉田 利雄 安里 彰 志田 直之 三浦 健一 住元 真司 長屋 忠男 三吉 郁夫 青木 正樹 原口 正寿 山中 栄次 宮崎 博行 草野 義博 新庄 直樹 追永 勇次 宇野 篤也 黒川 原佳 塚本 俊之 村井 均 庄司 文由 井上 俊介 黒田 明義 寺井 優晃 長谷川 幸弘 南 一生 横川 三津夫

出版者

一般社団法人電子情報通信学会

雑誌

電子情報通信学会論文誌. D, 情報・システム (ISSN:18804535)

巻号頁・発行日

vol.96, no.10, pp.2118-2129, 2013-10

---

スーパーコンピュータ「京」の構成と評価について述べる.「京」はスパコンの広範な分野での利活用を目指した10PFLOPS級のスパコンである.我々は,デザインコンセプトとして,(1)汎用的なCPUアーキテクチャの採用と高いCPU単体性能の実現,(2)高いスケーラビリティのインターコネクトの専用開発,(3)並列度の爆発に抗する技術の導入,(4)高い信頼性,柔軟な運用性,省電力性の実現を掲げ,2011年にそのシステムを完成させた.HPC向けCPU,SPARC64 VIIIfxと,スケーラビリティの高いTofuインターコネクトを専用に開発し,並列度の爆発に抗する技術としてVISIMPACTを実装した.冷却やジョブマネージャ等により,高い信頼性,柔軟な運用性,省電力性を実現した.「京」は2011年6月と11月にTOP500で世界一となった.また,複数のアプリケーションで高い実行効率と性能を確認し,スパコンとしての高い実用性を示した.

著者

松本 幸 安達 知也 田中 稔 住元 真司 曽我 武史 南里 豪志 宇野 篤也 黒川 原佳 庄司 文由 横川 三津夫

雑誌

研究報告計算機アーキテクチャ(ARC)

巻号頁・発行日

vol.2011-ARC-197, no.6, pp.1-10, 2011-11-21

---

本報告では,8 万台以上のノードを直接網で結合した 「京」 における MPI 集団通信の高速化について述べる.従来の MPI 集団通信アルゴリズムは,間接網向けのアルゴリズムが主体であり,これを直接網に適用してもメッセージの衝突のため効率的な通信ができない.このため,高い通信性能を得るためには直接網を意識した集団通信アルゴリズムが必須となる.そこで我々は,トーラス向け Allreduce アルゴリズム Trinaryx3 Allreduce を設計し,「京」 向けの MPI ライブラリに実装した.Trinaryx3 Allreduce は,「京」 の特長である複数 RDMA エンジンを同時に活用することができる.実装を評価した結果,既存の間接網向けアルゴリズムと比較して,5 倍程度バンド幅が向上することを確認した.

著者

森下 浩二 横川 三津夫 宇野 篤也 石原 卓 金田 行雄

出版者

一般社団法人情報処理学会

雑誌

研究報告ハイパフォーマンスコンピューティング(HPC)

巻号頁・発行日

vol.2014, no.17, pp.1-5, 2014-12-02

---

現在日本最速のスーパーコンピュータである 「京」 を用いて,一様等方性乱流の超大規模直接数値シミュレーション (DNS) を実現するために,地球シミュレータ向けに開発された,フーリエ・スペクトル法に基づく一様等方性乱流の DNS コードの 「京」 への移植,及び最適化を行った.移植の際には,従来の 1 次元分割によるデータ分散手法から,より効率的な All-to-all 通信が可能であると考えられる 2 次元分割による手法へと変更を行った.その結果,「京」 の 192×128 ノードを用いて最大格子点数 122883 の超大規模 DNS の実現に成功した.これはプロダクトランとしては世界最大の一様等方性乱流の DNS である.ピーク性能比として,格子点数 61443,81923,122883 の DNS でそれぞれ 3.84%,3.14%,2.24% の実効性能が得られた.また,コードの更なる高効率化のために,乱流 DNS 特有のアルゴリズムに対する最適化を試み,その性能評価を行った.