著者

谷村 勇輔 的野 晃整 小島 功 田中 良夫 関口 智嗣

出版者

一般社団法人情報処理学会

雑誌

情報処理学会研究報告ハイパフォーマンスコンピューティング(HPC) (ISSN:09196072)

巻号頁・発行日

vol.2008, no.74, pp.223-228, 2008-07-29

---

ユビキタスコンピューティングの世界で用いられる"ucode"を管理するシステムに RDF-DB (RDF database) を利用するには,スケーラブルな RDF-DB を構築する技術の確立が必要である.そこで,我々は RDF-DB のバックエンドに分散ストレージと MapReduce フレームワークを用いた並列データ処理を利用することで,膨大なデータに対する多数の問合せに対応したシステムの構築を試みている.本稿では,まず MapReduce を実装する Hadoop において,データベースの結合演算を行うプログラムの性能を評価した.次に, Hadoop と RDF-DB のそれぞれの特徴に基づき,データベースの基本的なデータ格納手法である Vertical Partitioning,Horizontal Partitioning,Sorting をもとに, MapReduce フレームワークにおける RDF-DB に適したデータの分散格納方法を提案する.そして,約 274 万のトリプルに対して, 2 または 3 組の predicate を選択条件とし, subject に対する結合演算を行う問合せを用いて評価実験を行った.これらを通じて,最終的に構築しようとしているシステムの設計を行う上での基本的な知見を得た.Research for scalable RDF-DB (RDF database) is highly expected today, in order to construct the "ucode" management system in the ubiquitous world. Our approach is to use parallel data processing technology with distributed storage and MapReduce framework, as a backend of RDF-DB. In this report, performance of the JOIN operation in the database domain was evaluated on the Hadoop cluster, in which MapReduce framework is provided by Hadoop. Then data storing/distributing methods based on conventional Vertical Partitioning, Horizontal Partitioning and Sorting, are proposed so that they take advantages of the Hadoop behaviors and the RDF-DB features. The proposed methods were evaluated by the experiment with the query which selects the RDF triples by 2 or 3 predicates and joins the triples on the subject from 2.4 millions' triples. Through the examinations, the design principle of our developing scalable RDF-DB system was confirmed.

著者

高橋 聡子 岩井 輝男 田中 良夫 前田 敦司 中西 正和

出版者

一般社団法人情報処理学会

雑誌

情報処理学会論文誌 (ISSN:18827764)

巻号頁・発行日

vol.38, no.5, pp.1050-1057, 1997-05-15

参考文献数

14

---

リスト処理プロセスとGCプロセスを同時に複数動作させることによって,リスト処理を並列化することによる処理時間の短縮が可能になった.しかし,セルの消費のペースはアプリケーションによって異なり,CPUの数も計算機によって異なるので,リスト処理プロセスの最適な数はアプリケーション,計算機によって異なると考えられる.本稿では,セルの消費速度やフリーセルの残量によってリスト処理プロセスとGCプロセスのCPU割当てを動的に決定する機能により,Lispの代表的なアプリケーションに対し,処理速度と実時間性とのバランスのとれた処理を行うことを可能とする並列Lispシステムの報告を行う.本システムの実装にあたっては,できるだけリスト処理の中断が生じることがなく,リスト処理に最大数のCPUが割り当てられるようCPU割当てのパラメータを設定し,CPU割当てを動的に決定した.その結果,リスト処理の中断がなくなり実行時間が短縮された.Parallel lisp system with parallel garbage collection(GC)can produce improvements in throughput by executing list processing in parallel.But,the optimal number of list processes and GC processes depends on machines and applications because the number of processors on a machine and cells which are consumed by various applications is different.In this paper,we report parallel lisp system which makes it possible to balance throughput and real time performance by dynamic allocation of CPU depending on speed of consuming cells and the number of remaining free cells.We dynamically changed CPU allocation according to the parameter which was set to avoid a disruption of list processing and allocateas many CPU as possible to list processing.Consequently,our system yielded improvements in throughput without any disruption of list processing.

著者

平野 基孝 首藤 一幸 田中 良夫 佐藤三久

出版者

一般社団法人情報処理学会

雑誌

情報処理学会研究報告システムソフトウェアとオペレーティング・システム(OS) (ISSN:09196072)

巻号頁・発行日

vol.2005, no.79, pp.17-24, 2005-08-03

被引用文献数

2

---

我々は数千ノードからなるP2P、グリッド等の大規模並列分散コンピューティング用の安全な通信基盤の形成を目的として、匿名相互証明書とP2P通信を用いる認証方式AUBReX(Authentication method Using Buddy-buddy relationship Represented by Cross centificate)を提案する。AUBReXでは、2ユーザ間(友人)の信頼関係を、そのユーザ間以外では個人情報の特定が出来ないように生成されたエンドエンティティ名(SubjectDN内のCommonName)を持つX.509デジタル証明書を相互に発行しあうことで表現する。これを匿名相互証明書と呼び、匿名相互証明書からなる証明書チェインをP2P通信により生成、検査することで、直後の信頼関係を結んでいないユーザ間での、匿名性を確保した上でのユーザ認証機構を提供する。AUBReXを用いることで、中央集権的CAを必要とせず、かつ不特定多数のユーザ間でのPKIベースの相互認証が可能になり、P2P環境でのピア間相互認証に有効である。We propose an authentication method called AUBReX(Authentication method Using Buddy-buddy relationship Represented by Cross certificate),which enables a secure communication infrastructure of a thousand of nodes for P2P and Grid distributed parallel computing using anonymous cross certificates and P2P communication. In the AUBReX,a trusted relationship (fellowship,or buddy-buddy relationship) between two users is represented by issueing X.509 cross certificate each other. The cross certificate has a secure-hashed CommonName as an end entity,that can only be revealed between the users. By collecting such anonymous cross certificates via P2P connection and generating a certificate chain and verifying it, the AUBReX provides an authentication mechanism between users who don`t have direct turusted relationship. By using AUBReX,it enables that PKI based mutual authentication between any users without a centralized CA,in which is suitable for P2P environment.

著者

松井 祥悟 田中 良夫 前田 敦司 中西 正和

出版者

一般社団法人情報処理学会

雑誌

情報処理学会論文誌 (ISSN:18827764)

巻号頁・発行日

vol.36, no.8, pp.1874-1884, 1995-08-15

参考文献数

12

被引用文献数

4

---

本論文では、並列型(parallel)および漸次型(incremental)ガーベジコレクションの基本アルゴリズムである相補型ガーベジコレクタ(Complementary Garbage Collector)の提案およびその評価を行う。このアルゴリズムは、増分更新型(incremental update)とスナップショット型(snapshot-at-begiming)という2つの基本アルゴリズムを相補的に組み合わせたものである。ゴミの回収効率の良さと正当な(無矛盾な)実装の容易さという両者の長所を併せ持つ。このアルゴリズムは、現在広く便用されているスナップショット型アルゴリズムを代替する。この型を基本アルゴリズムとしている現存の並列型および漸次型ガーベジコレクションに直ちに応用できる。Complementary Garbage Conectorを並列型mark-and-sweep法および潮次型mark-and-sweep法に組み込み、評価を行った結果、ゴミセルの回収効率は一括型GCと同程度まで改善されることが確認された。これにより実行速度、実時間性(無停止性)が改善された。

著者

武宮 博 田中 良夫 中田 秀基 関口 智嗣

出版者

一般社団法人情報処理学会

雑誌

情報処理学会論文誌コンピューティングシステム(ACS) (ISSN:18827829)

巻号頁・発行日

vol.45, no.11, pp.144-159, 2004-10-15

参考文献数

39

被引用文献数

7

---

Grid プログラミングモデルの1 つであるGridRPCの参照実装としてNinf-G2の開発を行い,性能を評価した.広域に分散した複数台のクラスタから構成される大規模Grid 環境上でアプリケーションを効率良く実行することを目的とするNinf-G2は,関数ハンドル同時生成機能やリモートオブジェクトを実装することで,遠隔手続き呼び出しにともなう起動コストや通信コストの低減を図るとともに,ハートビート機能や関数ハンドル作成タイムアウト機能,サーバ属性の個別設定機能を提供することで,非均質,不安定で動的に変化するGrid環境への対応を図っている.典型的なタスク並列アプリケーションである気象シミュレーションプログラムを対象に,6台のクラスタから構成されるGridテストベッド上でNinf-G2の性能評価を行った.その結果,個々のタスクの実行時間が十数秒から数十秒程度の比較的粒度の小さいシミュレーションであっても,200台以上のプロセッサを用いて効率的に実行可能であることが分かった.A high performance GridRPC system called Ninf-G2 has been developed and its performance was evaluated. Ninf-G2 aims to enable applications to run efficiently on a large scale Grid environment which consists of clusters widely distributed over a network. It tries to reduce costs for start-up and communication by simultaneous function handles creation function and remote object mechanism. In addition, it tries to cope with heterogeneous, unstable, and dynamically varying grid environment by heart-beat monitoring function, timeout mechanism in creating function handles, and methods to specify server-dependent attributes. Using 6 distributed clusters, performance of Ninf-G2 was evaluated by running an atmospheric simulation program which is a typical task parallel application. Good performance was attained on a grid environment with more than 200 processors even in the case of applications having many small grained tasks.

著者

谷村 勇輔 田中 良夫 横川 三津夫 関口 智嗣

出版者

一般社団法人情報処理学会

雑誌

情報処理学会研究報告計算機アーキテクチャ(ARC) (ISSN:09196072)

巻号頁・発行日

vol.2006, no.20, pp.115-120, 2006-02-27

参考文献数

11

---

実大三次元振動実験により生成される貴重,かつ膨大なデータを格納するためのデータリポジトリシステム「EDgrid Central」を設計した.EDgrid Central はバックエンドに大容量のストレージと振動実験データの格納用に考案されたデータモデルを実装し,フロントエンドではメタデータによる実験データの検索やデータファイルの一括ダウンロード機能をWeb インタフェースとして提供する.これは米国のNEES プロジェクトで開発されたNEEScentral ソフトウェアをもとに,振動実験のデータを扱うユーザの意見を踏まえて必要な機能の追加・拡張,EDgrid スタイルのデザインへの置き換えを行ったものである.EDgrid Central を運用することで,振動実験データを格納するための半恒久的なリポジトリを確保するとともに,地震工学の研究者がお互いの実験や解析結果を日常的に交換,共有利用する環境を提供することができる.A data repository system, that is called EDgrid Central, is designed for storing huge amount of experiment data by using a 3-D full-scale earthquake testing facility. The EDgrid Central prepares large storage capacity and implements a data modeling for the shake test in the backend. The frontend is a portal for users to retrieve the stored data by meta-data search and bulk download. This system uses the NEEScentral developed by the NEES project in the United States by enhancing search and download functionalities, according to the EDgrid users' requirements. The EDgrid Central allows facility sites to have a permanent repository of the shaking table experiment and it also enables civil engineering researchers to share their data and reports in their daily activities.

著者

竹房あつ子 中田秀基 池上努 田中良夫

出版者

一般社団法人情報処理学会

雑誌

研究報告ハイパフォーマンスコンピューティング(HPC)

巻号頁・発行日

vol.2013, no.20, pp.1-6, 2013-07-24

---

階層型タスク並列処理は,タスクの再実行や冗長実行により耐障害性を備えたプログラムが設計できるため,ポストペタスケール高性能計算における有望なプログラミングモデルの 1 つと考えられている.我々は,耐障害性を備えたアプリケーションプログラムの開発を支援にする耐障害アプリケーションフレームワーク Falanx を提案している.このようなアプリケーションフレームワークは,計算に必要となるデータを障害から保全するデータストア機構と計算ノードの健全性を監視しつつ適切に計算を実行する資源管理機構からなる.これらを,ポストペタスケール計算機環境においてスケーラブルでかつ,それら自身が耐故障性を持つように設計・実装する必要がある.本研究では,耐障害アプリケーションフレームワークのポストペタスケール計算機環境での性能特性を検証して技術的課題を明らかにすることを目的とし,試験実装となるパーシステントストレージを利用した高可用分散協調スケジューラを設計・開発する.本スケジューラは既に実装を進めている資源管理機構と新たに追加したデータストア機構で構成され,Apache ZooKeeper と Apache Cassandra を用いて実装することで耐障害性を実現する.本スケジューラを用いた予備実験から,処理中に計算ノードが落ちてしまった場合も,自動的にタスクが再実行されアプリケーションプログラムが継続実行できることを確認した.

著者

合田 憲人 大澤 清 大角 知孝 笠井 武史 小野 功 實本 英之 松岡 聡 斎藤 秀雄 遠藤 敏夫 横山 大作 田浦 健次朗 近山 隆 田中 良夫 下坂 久司 梶原広輝 廣安 知之 藤澤克樹

出版者

一般社団法人情報処理学会

雑誌

情報処理学会研究報告ハイパフォーマンスコンピューティング(HPC) (ISSN:09196072)

巻号頁・発行日

vol.2006, no.87, pp.49-54, 2006-07-31

被引用文献数

3

---

本稿では,2005年12月から2006年5月にかけて実施されたGrid Challenge in SACSIS2006において使用されたグリッド実験環境の構築・運用事例を報告する.Grid Challengeは,大学,研究所が提供する複数の計算資源からなるグリッド実験環境上で,参加者がプログラミング技術を競う大会であり,今大会では1200CPU超の計算資源からなるグリッド実験環境が運用された.本稿では,実験環境ハードウェアおよびソフトウェアの仕様を紹介するとともに,ユーザ管理,ジョブ管理,障害対応といった運用事例についても報告する.This paper presents a case study to operate the Grid testbed for the Grid Challenge in SACSIS2006. The Grid Challenge is a programming competition on a Grid testbed, which is organized by multiple computing resources installed in universities and laboratories. In the last competition, the Grid testbed with more than 1200 CPUs was operated. The paper shows hardware/software specifications of the Grid testbed, and reports experience of the operation, which includes accounting, job management, and troubleshooting.

著者

田中良夫 松井 祥悟 前田 敦司 中西 正和

出版者

一般社団法人情報処理学会

雑誌

情報処理学会記号処理研究会報告

巻号頁・発行日

vol.94, no.49, pp.17-24, 1994

被引用文献数

1

---

通常ガーベッジコレクション(GC)はリスト処理を中断して行なわれる.GCをリスト処理と並列に行なう(並列GC)ことにより,GCによる中断時間をなくし,リスト処理の実時間化が可能となる.並列GCではGCの処理中にリスト処理によってデータが書き換えられるので,GCの正当性を保証するために特殊な処理が必要となる.そのため並列GCは停止型GCに比べてあまり効率が上がらず,実用化されているものもほとんどない.mark and sweep方式の並列GCにおいては,ゴミセルの回収効率が停止型GCに比べて約1/2になってしまうことが知られている.これらの欠点の改善は,並列GCの実用化へ向けての重要な研究テーマである.本論文では,mark and sweep方式の並列GCの欠点を改善したGCである,Partial Marking GC(PMGC)の提案,実装および評価に関する報告を行なう. PMGCはmark and sweep型の並列GCに世代別GCの概念を導入したGCである.PMGCを実装し様々な実験を行なった結果,PMGCによってゴミセルの回収効率は従来の並列GCに比べ最大で2倍に改善されることが確認された.PMGCは並列GCの実用化に向けての有効なGCである.

著者

中田 秀基 竹房 あつ子 大久保 克彦 岸本 誠 工藤 知宏 田中 良夫 関口 智嗣

出版者

一般社団法人情報処理学会

雑誌

情報処理学会研究報告ハイパフォーマンスコンピューティング(HPC) (ISSN:09196072)

巻号頁・発行日

vol.2006, no.20, pp.217-222, 2006-02-27

被引用文献数

2

---

グリッド上で複数の資源を同時に確保(コアロケーション)するには,各サイトにおける事前予約が不可欠である.現在計算資源の多くでは,プライオリティと First Come First Servedを組み合わせたスケジューリングポリシが用いられているが,このスケジューリングポリシと事前予約をどのように組み合わせるべきかに関しては,明らかになっていない.われわれは,この問題を検討する研究環境を整備することを目的とし,1) OpenPBSの亜種であるTORQUEのスケジューラモジュールを記述するためのAPIを整備し,2)これを用いて事前予約機能を持つスケジューラモジュールを実装した.さらにWSRFを用いた外部インターフェイスを実装し,Globus Toolkit Ver.4のGRAMと連動したグリッド環境での予約と実行を実現した.While advance reservation is an essential capability for co-allocating several resources on Grid environments, it is not obvious how it can be combined with priority-based First Come First Served scheduling, that is widely used as local scheduling policy today. To investigate this problem, we 1) developped Java API to implement scheduling modules for TORQUE, a variant of OpenPBS, 2) implemented a scheduler module that have advance reservation capability with the API. We also provide an external interface for the reservation capability based one WSRF. Using with job submission module from Globus toolkit 4, users can make reservation for resources and submit jobs over Grid.