- 著者
-
安田 宗樹
田中 和之
- 出版者
- The Institute of Electronics, Information and Communication Engineers
- 雑誌
- 電子情報通信学会論文誌 D (ISSN:18804535)
- 巻号頁・発行日
- vol.J93-D, no.11, pp.2446-2453, 2010-11-01
ボルツマンマシンはマルコフ確率場の形式をとる確率的ニューラルネットワークの一つであり,パラメトリック機械学習の重要なモデルの一つである.しかしボルツマンマシンの厳密な学習アルゴリズムは一般にシステムの次元に対して指数的な計算コストを必要としてしまう.近年Hintonによりcontrastive divergenceと呼ばれる強力な近似学習アルゴリズムが提案され,多くの学習問題に適用されてきている.しかしながらcontrastive divergenceにはアルゴリズムの収束などに関しての理論的な保証がほとんどなく,実用的には確率的なサンプリング法を必要とするためアルゴリズムが分散をもってしまうという欠点がある.そこで本論文では相関等式と呼ばれる定式化を用いてボルツマンマシンに対する新しい近似学習アルゴリズムを提案する.提案学習アルゴリズムはボルツマンマシンの学習の問題を単純な凸最適化問題へと近似することにより得られる.そのアルゴリズムは観測データ点に対して決定論的に解を与えるものであるため実装には便利である.また提案学習アルゴリズムの性能はcontrastive divergenceやYasuda and Tanakaにより提案されたloopy belief propagationを用いた学習アルゴリズムの性能を多くの場合で上回ることを人工データに対する数値実験を用いて示す.