- 著者
- 吉田 雄紀 小泉 吉輝 高橋 弘明
- 出版者
- 京都大学
- 雑誌
- 数理解析研究所講究録
- 巻号頁・発行日
- vol.1757, pp.29-36, 2011-08
- 著者
- 高木 志郎 吉田 雄紀 岡田 真人
- 出版者
- 人工知能学会
- 雑誌
- 2019年度 人工知能学会全国大会(第33回)
- 巻号頁・発行日
- 2019-04-08
Batch Normalizationはニューラルネットワークの学習を高速化,安定化させ,汎化性能を向上させる方法として知られている.しかし,その知名度に比してBatch Normalizationがニューラルネットワークの学習ダイナミクスに与える影響についての理解は依然として不十分である.近年この問題に取り組むいくつかの研究が出てきているが,Batch Normalizationつきニューラルネットワークの学習ダイナミクスを解析的に導出した研究はほとんどない.学習ダイナミクスを導出することはBatch Normalizationが学習にどのような影響を与えているかについて理解する上で重要であるため,我々は統計力学的な手法を用いた先行研究を頼りに,Batch Normalizationつき3層ニューラルネットワークの学習ダイナミクスを解析的に導出した.具体的には,Batch Normalizationありのニューラルネットワークについて,系の大域的な挙動を表すオーダーパラメータの微分方程式を導出した.