著者

大関 真之 一木 輝久

出版者

東北大学

雑誌

挑戦的萌芽研究

巻号頁・発行日

2016-04-01

---

機械学習アルゴリズムの多くは勾配降下法に基づき、その都度パラメータを更新する。その更新に際して極小の谷に落ち込むことがしばしばある。その回避のために熱揺らぎに相当するガウスノイズを導入する、シミュレーテッドアニーリング法、さらには量子揺らぎを導入する量子アニーリング法が物理学サイドからは提案されている。現在投稿中の論文は、深層学習における量子揺らぎの導入によってもたらされる効果の検証を行ったものである。量子揺らぎの導入により、トンネル効果によって極小の谷を超える効果を期待することはもちろんであるが、有限の量子揺らぎにより、谷の中における谷の形状の探索が可能であることが判明した。この形状の探索により、機械学習アルゴリズムの性能指標として最も重要な汎化性能が向上することが判明した。数値実験として極めて汎用的なオープンデータセットについて検証を行ったところ、良好な汎化性能を獲得した。この汎化性能の起源について、解析的検討を行ったところ、極小の周りの揺らぎをガウス分布の形で取り入れており、MM勾配降下法を採用すると、エントロピー勾配効果法として知られる海外の有力グループの手法を系統的に導出することができた。またこの手法は計算リソースを大半に割くため、MM勾配降下法だけでなく簡易的な手法にする他のタイプの近似を導入する可能性についても検討を行った。特に励起状態への遷移を考慮した離散的ノイズを導入すると、対応するフォッカープランク方程式に補正項が加わり、確率分布の形状による改善効果がもたらされることが判明した。この成果も突如得られたものであるため、最終年度である次年度に出版をする予定である。