1 0 0 0 機械仕掛けの機械学習wizz
- 著者
- 黒松 信行 小林 健一 Viel Emeric 浦 晃 上田 晴康
- 雑誌
- 研究報告ハイパフォーマンスコンピューティング(HPC) (ISSN:21888841)
- 巻号頁・発行日
- vol.2015-HPC-150, no.18, pp.1-7, 2015-07-28
機械学習においては,処理するデータ量,得られる精度,実行に要する時間の制約を満たす中で,逐次・並列分散の観点も含めたライブラリやアルゴリズム,パラメータの膨大な組み合わせの中から最適なものを選択することは困難であった.そこで,許容できる実行時間と入力データを与えるだけで最も高い精度を得ることを目的として,条件を変えながら何度も機械学習を実行することで最適な選択肢を自動的に選ぶプラットフォーム wizz を Apache Spark 上に構築した.wizz は並列処理向けの Apache Spark の MLlib と逐次実行向けの R スクリプトおよび R スクリプトの分散実行によるアンサンブル学習機能を提供しており,並列処理ライブラリと逐次処理ライブラリを同時に多数実行することができる.
1 0 0 0 データ処理平準化による業務アプリ並列実行の高速化
- 著者
- 黒松信行 松田雄一 上田晴康
- 出版者
- 一般社団法人情報処理学会
- 雑誌
- 情報処理学会研究報告. [ハイパフォーマンスコンピューティング]
- 巻号頁・発行日
- vol.2014, no.3, pp.1-5, 2014-07-21
ユーザが既存の業務アプリを修正することなく Hadoop 上で実行することでバッチ処理を高速化する技術として,富士通は NetCOBOL Hadoop 連携機能を開発した.しかし,Reduce タスクの入力データの偏りが原因で実行時間がばらつくために Hadoop の並列効果が低下する問題があった.この問題は Hadoop の仕組みと入力データ中に含まれるキーの出現数の偏りに起因する Reduce-Skew に原因がある.一般に,業務アプリはキーの種類が少ないため出現数が偏ることが多く,NetCOBOL Hadoop 連携機能では Reduce-Skew が生じやすい.我々は業務アプリを修正せずにバッチ処理を高速化する NetCOBOL Hadoop 連携機能の特徴を損なわずに Reduce-Skew を軽減する割合指定 Partitioner を提案する.割合指定 Partitioner は Reduce タスクの入力データ量の平準化と,タスクスケジューリングの最適化により MapReduce ジョブの実行時間を短縮する.実業務で使われるデータを再現して評価した結果、処理完了までの時間を最大で 30.6%短縮した.
1 0 0 0 OA NetCOBOL のHadoop 連携機能の開発と実践事例
- 著者
- 上田晴康 榎田勉 立岩恭也
- 雑誌
- デジタルプラクティス (ISSN:21884390)
- 巻号頁・発行日
- vol.5, no.2, pp.120-129, 2014-04-15
基幹バッチをHadoop上で実行することで高速処理をしたいという要望が多くなっている.基幹バッチに関しては,既存のCOBOLアプリケーションとデータ資産が大量にあるため,これらを修正・変換することなく利用できることが重要である.しかし,複数入力ファイルを用いる突合せを伴うアプリケーションはHadoopでの実行が困難なため,新規開発が必要になる事が多い.これを解決するためHadoopマルチプレクサ技術を開発した.また,HadoopからCOBOL特有のデータフォーマットを扱うためのCOBOLデータ対応技術も開発した.この技術を業務へ実適用して,アプリケーションの修正なく,並列実行することによる高速化の効果があることを示した.