著者

谷村 勇輔 的野 晃整 小島 功 田中 良夫 関口 智嗣

出版者

一般社団法人情報処理学会

雑誌

情報処理学会研究報告ハイパフォーマンスコンピューティング(HPC) (ISSN:09196072)

巻号頁・発行日

vol.2008, no.74, pp.223-228, 2008-07-29

---

ユビキタスコンピューティングの世界で用いられる"ucode"を管理するシステムに RDF-DB (RDF database) を利用するには,スケーラブルな RDF-DB を構築する技術の確立が必要である.そこで,我々は RDF-DB のバックエンドに分散ストレージと MapReduce フレームワークを用いた並列データ処理を利用することで,膨大なデータに対する多数の問合せに対応したシステムの構築を試みている.本稿では,まず MapReduce を実装する Hadoop において,データベースの結合演算を行うプログラムの性能を評価した.次に, Hadoop と RDF-DB のそれぞれの特徴に基づき,データベースの基本的なデータ格納手法である Vertical Partitioning,Horizontal Partitioning,Sorting をもとに, MapReduce フレームワークにおける RDF-DB に適したデータの分散格納方法を提案する.そして,約 274 万のトリプルに対して, 2 または 3 組の predicate を選択条件とし, subject に対する結合演算を行う問合せを用いて評価実験を行った.これらを通じて,最終的に構築しようとしているシステムの設計を行う上での基本的な知見を得た.Research for scalable RDF-DB (RDF database) is highly expected today, in order to construct the "ucode" management system in the ubiquitous world. Our approach is to use parallel data processing technology with distributed storage and MapReduce framework, as a backend of RDF-DB. In this report, performance of the JOIN operation in the database domain was evaluated on the Hadoop cluster, in which MapReduce framework is provided by Hadoop. Then data storing/distributing methods based on conventional Vertical Partitioning, Horizontal Partitioning and Sorting, are proposed so that they take advantages of the Hadoop behaviors and the RDF-DB features. The proposed methods were evaluated by the experiment with the query which selects the RDF triples by 2 or 3 predicates and joins the triples on the subject from 2.4 millions' triples. Through the examinations, the design principle of our developing scalable RDF-DB system was confirmed.

著者

小川 宏高 松岡 聡 佐藤 仁 高野 了成 滝澤 真一朗 谷村 勇輔 三浦 信一 関口 智嗣

雑誌

研究報告ハイパフォーマンスコンピューティング(HPC) (ISSN:21888841)

巻号頁・発行日

vol.2017-HPC-160, no.28, pp.1-7, 2017-07-19

---

国立研究開発法人産業技術総合研究所 (以降,産総研) では,平成 28 年度二次補正 「人工知能に関するグローバル研究拠点整備事業」 の一環として,平成 29 年度末に,東京大学柏 II キャンパスに,「AI 橋渡しクラウド (AI Bridging Cloud Infrastructure)」 (以降,ABCI という) の導入を計画している.ABCI は,我が国の人工知能技術開発のためのオープンなリーディングインフラストラクチャの実現を目指し,アルゴリズム (Algorithm),ビッグデータ (Big Data),計算能力 (Computing Power) の協調による,高度な人工知能処理を可能にする大規模かつ省電力なクラウド基盤である.本稿では,ABCI のサーバシステムにフォーカスしつつ,ABCI の概要と,システム設計上の論点と我々が採った方策について紹介する.

著者

谷村 勇輔 田中 良夫 横川 三津夫 関口 智嗣

出版者

一般社団法人情報処理学会

雑誌

情報処理学会研究報告計算機アーキテクチャ(ARC) (ISSN:09196072)

巻号頁・発行日

vol.2006, no.20, pp.115-120, 2006-02-27

参考文献数

11

---

実大三次元振動実験により生成される貴重,かつ膨大なデータを格納するためのデータリポジトリシステム「EDgrid Central」を設計した.EDgrid Central はバックエンドに大容量のストレージと振動実験データの格納用に考案されたデータモデルを実装し,フロントエンドではメタデータによる実験データの検索やデータファイルの一括ダウンロード機能をWeb インタフェースとして提供する.これは米国のNEES プロジェクトで開発されたNEEScentral ソフトウェアをもとに,振動実験のデータを扱うユーザの意見を踏まえて必要な機能の追加・拡張,EDgrid スタイルのデザインへの置き換えを行ったものである.EDgrid Central を運用することで,振動実験データを格納するための半恒久的なリポジトリを確保するとともに,地震工学の研究者がお互いの実験や解析結果を日常的に交換,共有利用する環境を提供することができる.A data repository system, that is called EDgrid Central, is designed for storing huge amount of experiment data by using a 3-D full-scale earthquake testing facility. The EDgrid Central prepares large storage capacity and implements a data modeling for the shake test in the backend. The frontend is a portal for users to retrieve the stored data by meta-data search and bulk download. This system uses the NEEScentral developed by the NEES project in the United States by enhancing search and download functionalities, according to the EDgrid users' requirements. The EDgrid Central allows facility sites to have a permanent repository of the shaking table experiment and it also enables civil engineering researchers to share their data and reports in their daily activities.