3 0 0 0 OA 自然勾配近似法を起点としたバッチ正規化の数理的理解
- 著者
- 木脇 太一
- 出版者
- 人工知能学会
- 雑誌
- 人工知能学会全国大会論文集 (ISSN:13479881)
- 巻号頁・発行日
- vol.31, 2017
バッチ正規化(BN)と呼ばれる最適化手法はNeural Networkの学習効率を劇的に向上させるため大きく着目されている.定性的な議論および実験的な観測から,BNは自然勾配法(NG)との関係性が指摘されているが,厳密な数理的原理は不明である.本研究ではNatual Neural Networkと呼ばれるNGの実現方法とBNの類似性に着目し,BNがどの様にNGを近似しているのかを数理的に議論する.
言及状況
Twitter (3 users, 3 posts, 8 favorites)
Mathematical Understanding of Batch Normalization as Approximation of Natural Gradient https://t.co/LJpoVB9dfF
自然勾配近似法を起点としたバッチ正規化の数理的理解
https://t.co/2w72DtkzZ4
今日個人的に面白いなと思った発表です
https://t.co/mfmoni5xDg
https://t.co/1Tuh4JD4RR