著者

木脇 太一

出版者

人工知能学会

雑誌

人工知能学会全国大会論文集 (ISSN:13479881)

巻号頁・発行日

vol.31, 2017

---

バッチ正規化(BN)と呼ばれる最適化手法はNeural Networkの学習効率を劇的に向上させるため大きく着目されている.定性的な議論および実験的な観測から,BNは自然勾配法(NG)との関係性が指摘されているが,厳密な数理的原理は不明である.本研究ではNatual Neural Networkと呼ばれるNGの実現方法とBNの類似性に着目し,BNがどの様にNGを近似しているのかを数理的に議論する.

著者

木脇 太一

出版者

一般社団法人 人工知能学会

雑誌

人工知能学会全国大会論文集 第31回全国大会(2017)

巻号頁・発行日

pp.1A2OS05b4, 2017 (Released:2018-07-30)

---

バッチ正規化(BN)と呼ばれる最適化手法はNeural Networkの学習効率を劇的に向上させるため大きく着目されている.定性的な議論および実験的な観測から,BNは自然勾配法(NG)との関係性が指摘されているが,厳密な数理的原理は不明である.本研究ではNatual Neural Networkと呼ばれるNGの実現方法とBNの類似性に着目し,BNがどの様にNGを近似しているのかを数理的に議論する.

著者

木脇 太一 牧野 貴樹 合原 一幸

出版者

一般社団法人電子情報通信学会

雑誌

電子情報通信学会技術研究報告. IBISML, 情報論的学習理論と機械学習 (ISSN:09135685)

巻号頁・発行日

vol.112, no.279, pp.103-106, 2012-10-31

---

Restricted Boltzmann Machine(RBM)の過学習問題を緩和するために隠れ変数のエントロピーを正規化項として用いる学習手法を提案する.従来のRBMには不要な複雑性を取り除くための機構が欠如していたため,データの複雑性に関係なく必要以上に複雑な表現を学習してしまう,いわゆる過学習が問題となっていた.本手法ではデータに合わせて最適なRBMの複雑性が動的に調節される,いわゆるモデル選択をRBM上に実現する.本稿ではこの正則化項に基づく学習アルゴリズムを統計力学の手法を用いて導出する.