著者

木脇 太一 牧野 貴樹 合原 一幸

出版者

一般社団法人電子情報通信学会

雑誌

電子情報通信学会技術研究報告. IBISML, 情報論的学習理論と機械学習 (ISSN:09135685)

巻号頁・発行日

vol.112, no.279, pp.103-106, 2012-10-31

---

Restricted Boltzmann Machine(RBM)の過学習問題を緩和するために隠れ変数のエントロピーを正規化項として用いる学習手法を提案する.従来のRBMには不要な複雑性を取り除くための機構が欠如していたため,データの複雑性に関係なく必要以上に複雑な表現を学習してしまう,いわゆる過学習が問題となっていた.本手法ではデータに合わせて最適なRBMの複雑性が動的に調節される,いわゆるモデル選択をRBM上に実現する.本稿ではこの正則化項に基づく学習アルゴリズムを統計力学の手法を用いて導出する.