著者

中島 耕太 成瀬 彰 住元 真司 久門 耕一

雑誌

先進的計算基盤システムシンポジウム論文集

巻号頁・発行日

vol.2011, pp.126-135, 2011-05-18

---

本論文では,通信量バランスの良いデッドロック回避ルーティング手法であるターン追加法を提案する.本手法は,ターン禁止法の一種であり,スイッチの入力ポートと出力ポートの組であるターンの使用を部分的に禁止してデッドロックを回避する手法である.全ターンを禁止した状態を初期状態とし,通信量の大きいターンから順に許可判定を行い,そのターンを使用してもデッドロックが生じない場合は当該ターンを許可する.ターン単位で禁止/許可を判別するため,既存手法と比較するとネットワークの一部分や一部のスイッチに禁止ターンが偏りやすくなる傾向は低くなる.このため,通信量バランスの良いルーティングを実現しやすい.本手法をランダムネットワークと Fat Tree ベースのクラスタネットワークに適用し,評価した.ランダムネットワークでは,Up*/Down* 法と比較してスループットを最大 2.05 倍改善し,TP 法と比較してほぼ同性能であることを確認した.また,クラスタネットワークでは,8192 ノード構成の Fat Tree を 2 つ接続した場合,Fat Tree を接続する経路において,TP 法と比較して,スループットを最大 4.77 倍改善できることを確認した..

著者

後藤 正徳 佐藤 充 中島 耕太 久門 耕一

出版者

一般社団法人電子情報通信学会

雑誌

電子情報通信学会技術研究報告. CPSY, コンピュータシステム (ISSN:09135685)

巻号頁・発行日

vol.106, no.287, pp.7-12, 2006-10-06

被引用文献数

8

---

近年のPCクラスタで使用されているインタコネクトは高性能化し,メモリバンド幅のスループット性能に近付きつつある.そこで,我々は高速インタコネクトを使用し,遠隔ノードのメモリをスワップとして用いる遠隔スワップメモリ技術の実現可能性を検討している.評価を行うために,我々は遠隔スワップメモリシステムNuzuraを実装した.Nuzuraは10Gb Ethernet上でRDMAを実現するNIC UZURAと,これを用いたネットワークブロックデバイスRNBDをスワップデバイスとして用いる.評価に際しては,本システム上で搭載メモリの数倍を要求する複数のHPCアプリケーションを実行し,性能を測定した.実験結果から,アプリケーションのメモリアクセスパターンや遠隔スワップメモリの使用比率に応じて性能オーバヘッドが異なることを示した.また,ページ置換方式の変更によって姫野ベンチマークの性能が4倍近く向上することを示した.

著者

清水 俊宏 中島 耕太

雑誌

研究報告ハイパフォーマンスコンピューティング(HPC) (ISSN:21888841)

巻号頁・発行日

vol.2017-HPC-160, no.6, pp.1-6, 2017-07-19

---

近年のクラスタシステムは 1000 ノードを超える大規模なものが広がっており,1000 ~ 10000 台のサーバを接続して並列処理するシステムが登場している.PC クラスタを接続する際のトポロジーとしては Fat-Tree が広く採用されれているが,必要となるスイッチ台数が多いため,コストが高くなるとう問題点がある.この問題を解決するために,我々はすでに Fat-Tree に対してスイッチ数を削減する多層 Fullmesh やラテン方陣 Fat-Tree といったトポロジー構造の活用を提案し,そのトポロジー構造上での通信手法,特に最も高負荷な集合通信である All-to-all 通信の効率的な転送方式を提案している.本稿ではこれらの通信手法の実環境での評価 ・ 分析について論ずる.評価には NAS Parallel Benchmarks (NPB) を用い,NPB のうち処理中で All-to-all 通信が用いられるフーリエ変換 (FT) の処理性能を評価した.

著者

成瀬 彰 中島 耕太 住元 真司 久門 耕一

雑誌

研究報告ハイパフォーマンスコンピューティング(HPC)

巻号頁・発行日

vol.2010-HPC-128, no.5, pp.1-8, 2010-12-09

---

本稿では、Fat-tree 構成の InfiniBand(IB) ネットワークにおける全対全通信時の Hot-spot 発生を回避する手法を提案·評価する。Fat-tree 構成の IB ネットワークでは、適切に使用する計算ノードを選択しないと、Hot-spot 発生により実行通信バンド幅が低下する。本稿では、任意の計算ノード割当てにおいて、全対全通信時の Hot-spot 発生を回避する手法を提案する。提案手法は、各計算ノードに複数の LID(Local Identifier) を割り当てる手法の一種である。全対全通信時の典型的な通信パターンであるシフト通信パターンに着目し、各計算ノード対に生成されるコネクション毎に、使用 LID を適切に選択することで、Hot-spot 発生を回避する。提案手法を OpenMPI で実装し、6-ary-2-tree トポロジーの Fat-tree 構成IBネットワークに接続した 30 ノードの PC クラスタシステムで性能を評価した。任意 16 ノードによる全対全通信性能を測定した結果、提案手法により全対全通信時の Hot-spot 発生を完全に回避できることを確認した。

著者

田邨 優人 中島 耕太 山本 昌生 前田 宗則

雑誌

研究報告システムソフトウェアとオペレーティング・システム(OS) (ISSN:21888795)

巻号頁・発行日

vol.2017-OS-141, no.22, pp.1-6, 2017-07-19

---

ハードウェアの進歩に伴い,従来よりも大幅に低レイテンシな記憶装置やインターコネクタが登場している.計算機環境のさらなる高性能化,大規模化が求められる昨今では,今後これらのデバイスが主流になると考えられるが,大部分の計算機システムではその高速性を活かせない場合が多い.その一つの原因としてカーネル内でデバイスからの応答の検知にハードウェア割り込みを使用していることが挙げられる.性能が重要視される HPC 分野などではハードウェア割り込みよりも高速にデバイスからの応答検知を行うために polling という手法が用いられる.しかし polling は CPU リソースを占有してしまうという特性から汎用的な計算機システムには積極的に用いられることはなかった.そこで本研究では CPU リソースを管理しながらカーネル内で polling を行うための polling idle ドライバを提案する.提案手法を NVMe over Fabrics に実装して評価を行ったところ,最大 47.1% のレイテンシ削減効果,最大 77.3% の iops 向上を確認し,また iops の上限値が従来から 40.2% 向上したことを確認した.

著者

前田 宗則 田邨 優人 松尾 勇気 佐藤 充 中島 耕太

雑誌

研究報告システム・アーキテクチャ(ARC) (ISSN:21888574)

巻号頁・発行日

vol.2016-ARC-221, no.29, pp.1-5, 2016-08-01

---

ユーザ空間から直接にハードウェアをボーリングするスレッドを立ち上げ,I/O リクエストに即時応答することで低レイテンシと高スループットを両立するカーネルバイパス型ソフトウェアアーキテクチャが注目されている.カーネルバイパス方式では,スレッド間の排他処理や実行割り当ては,性能に影響するため繊密な設計が必要とされる.これまでに我々は,低レイテンシなスレッド待ち合わせ処理を軽量スレッドとボーリングの組み合わせで実現する方式を提案している.本稿では,軽量スレッドと高速待ち合わせ機構をカーネルバイパス型アーキテクチャの一方式である DPDK に適用することで性能向上を実現した.

著者

中島耕太 佐藤充 久門 耕一 谷口 秀夫

出版者

一般社団法人情報処理学会

雑誌

情報処理学会論文誌コンピューティングシステム(ACS) (ISSN:18827829)

巻号頁・発行日

vol.48, no.18, pp.69-82, 2007-12-15

被引用文献数

1

---

本論文では,10Gb Ethernet上のRDMA転送機能による仮想マシン移動の設計と評価について述べる.転送時間の削減のために,RDMA転送機能の適用と,NICによる通信処理とCPUによるページのマップ/アンマップ処理のオーバラップ化を図る.また,転送処理が消費するCPU時間の削減のためには,1ページ転送あたりのCPU時間と総転送ページ数を削減する必要がある.仮想マシン上でアプリケーションを動作させたまま転送する場合は,転送処理の間,アプリケーションがページを更新するため,更新ページの再送が生じる.そこで,転送時間の削減により,再送ページ数を削減する.そして,RDMA転送機能の適用により,1ページ転送あたりのCPU時間を削減する.RDMA転送を適用した結果,TCP/IPによる転送時と比較して,アプリケーションが動作している2GBの仮想マシンの転送時間を40.7%削減し6.40 s(336MB/s相当)を達成した.また,転送処理が消費するCPU時間を最大73.6%削減し,仮想マシン上で動作するアプリケーション性能を最大2.68倍に改善した.さらに,オーバラップ化を適用した結果,オーバラップ化非適用時と比較して,転送時間を50.8%削減し3.15s(681MB/s相当)を達成した.また,転送処理が消費するCPU時間を最大11.7%削減し,仮想マシン上で動作するアプリケーション性能を最大6.4%改善した.This paper describes design and evaluation of a virtual machine (VM) migration using RDMA data transfer mechanism over 10Gb Ethernet. In order to reduce elapsed time, we apply RDMA data transfer mechanism and overlap data transfer processing by NIC and page map/unmap processing by CPU. In order to reduce CPU time of VM migration, it is necessary that reduction of CPU time per a page transfer and total number of transfer pages. We apply RDMA to reduce CPU time per a page transfer. And in running application on VM, the reduction of elapsed time reduces total number of transfer pages. By using RDMA data transfer, the migration time of the 2GB VM on which application was running was shorter in 40.7% than using TCP/IP data transfer, and 6.40s (suitable to 336MB/s) was achieved. Moreover, CPU time of VM migration was reduced in 73.6% and the performance of application on VM is improved 2.68 times. In addition, the migration time applied the overlap method was shorter in 50.8% than applied only RDMA, and 3.15s (suitable to 681MB/s) was achieved. CPU time of VM migration was reduced in 11.7% and the performance of application on VM is improved 6.4%.

著者

中島 耕太 佐藤 充 後藤 正徳 久門 耕一

出版者

一般社団法人電子情報通信学会

雑誌

電子情報通信学会技術研究報告. CPSY, コンピュータシステム (ISSN:09135685)

巻号頁・発行日

vol.106, no.287, pp.1-6, 2006-10-06

---

大容量のデータ転送を伴うXen仮想マシンモニタの仮想マシン移動処理に10Gb Ethernet-NIC UZURAのRDMA転送を適用し,評価した.仮想マシン移動処理の高速化のためには,ネットワークハードウェアの高速化やプロトコル処理オフロードだけでなく,転送処理を制御するアプリケーション処理の最適化が必要である.そこで,RDMA転送の適用に際し,実際の仮想マシン移動における転送処理時間を解析し,アプリケーション処理の最適化について検討を行った.そして,検討した高速化を実際に適用し,評価した.その結果,10Gb Ethernetを用いても,通常のTCP/IP通信を用いた場合(98.4MB/s)やRDMA転送を単純に適用した場合(200MB/s)では,Gigabit Ethernetを用いた場合(82.9MB/s)に対して十分な高速化が実現できないのに村し,アプリケーション処理の最適化を適用した場合では405MB/sとなり,4.89倍の性能向上を実現した.