著者

本川 哲哉 手塚 太郎

出版者

一般社団法人 人工知能学会

雑誌

人工知能学会全国大会論文集 第34回 (2020) (ISSN:27587347)

巻号頁・発行日

pp.4B3GS105, 2020 (Released:2020-06-19)

---

ニューラルネットワークの学習において、Adamをはじめとする適応的最適化手法はSGDよりも早く収束することで知られており、近年様々な深層学習タスクでよく利用される。その反面で、SGDよりも最終的な収束パラメータの汎化性能が悪いという報告も見られる。しかしながらその原因解明はまだ進んでいない。本研究ではこの問題に対するアプローチとして、損失関数におけるヘッセ行列の固有値分布(Hessian spectrum)を分析することで収束パラメータ付近での損失関数の形状によってパラメータの良し悪しを考察した。近年、このようにHessian spectrumを分析することで学習のメカニズムを解釈する研究が増えてきている。本研究では、ニューラルネットワーク学習後のパラメータ空間においてSGD方がAdamに比べて局所的に平坦な形状に収束することを、いくつかの実用的な深層学習モデルを用いて実験的に示した。

著者

本川 哲哉 手塚 太郎

出版者

人工知能学会

雑誌

2020年度 人工知能学会全国大会(第34回)

巻号頁・発行日

2020-04-01