著者

和田山 正 高邉 賢史

出版者

一般社団法人 電子情報通信学会

雑誌

電子情報通信学会 基礎・境界ソサイエティ Fundamentals Review (ISSN:18820875)

巻号頁・発行日

vol.14, no.1, pp.60-72, 2020-07-01 (Released:2020-07-01)

参考文献数

36

被引用文献数

3 4

---

深層学習技術は,深層ニューラルネットワークの学習に利用できるだけではなく,入出力を伴う “微分可能な反復型アルゴリズム” の内部パラメータ最適化に適用可能である.従前から知られている優れた反復型アルゴリズムを基礎として,その内部に学習可能パラメータを埋め込むことで,データに基づく学習可能性をもつ柔軟な派生アルゴリズムを構成できる.このアプローチを深層展開と呼ぶ.本稿では,線形逆問題の一つであるスパース信号再現における再現アルゴリズムを中心として,深層展開の概要とその特徴を紹介する.本稿の前半では,深層展開により導かれるスパース信号再現アルゴリズムの実例(TISTA)を紹介するとともに,深層学習に基づいて構成されたアルゴリズムで見られる収束加速について解説する.本稿の後半では,収束加速の要因となる学習後パラメータに関する理論的成果(チェビシェフステップに基づくスペクトル半径制御)について概説する.そこでは,なぜ深層展開が収束加速を与えるのか,という問いに対する一つの回答が与えられる.