著者

當仲 寛哲

雑誌

情報処理

巻号頁・発行日

vol.55, no.9, pp.982-988, 2014-08-15

---

ビッグデータ処理といえば,Hadoopを用いた分散ファイルシステムや分散処理が頭に浮かぶが,一方で,UNIX系OS(Linux,FreeBSD等)の基本機能であるシェルスクリプトを用いてテキストデータを処理し,コンピュータの性能を最大限に活かすプログラミング手法にも注目が集まっている.本稿はシェルスクリプトをベースにしたビッグデータ処理の事例として「ユニケージ開発手法」やシェルスクリプトによる並列処理,シェルスクリプトで動作する統計コマンド群などについて紹介する.