著者

今泉 允聡

出版者

一般社団法人 日本統計学会

雑誌

日本統計学会誌 (ISSN:03895602)

巻号頁・発行日

vol.50, no.2, pp.257-283, 2021-03-05 (Released:2021-03-05)

参考文献数

47

---

本稿では,深層学習の原理を説明する汎化誤差の理論を概観する.深層学習は,多層ニューラルネットワークをモデルとして用いる統計的手法の一つで,その高い性能から脚光を浴びて久しい.しかしながら,その多層モデルがもたらす複雑な性質により,高い性能を発揮する仕組みの解明は未だ発展途上である.本稿は,この性能の原理を説明する試みのうち,特にモデルの近似誤差や推定量の複雑性誤差に焦点を当て,解明された部分と未解明な部分を議論する.

著者

今泉 允聡

出版者

一般社団法人 日本統計学会

雑誌

日本統計学会誌 (ISSN:03895602)

巻号頁・発行日

vol.52, no.1, pp.33-51, 2022-09-13 (Released:2022-09-14)

参考文献数

23

---

本稿では,深層ニューラルネットワークの標準的手法に対する優位性の解明を目的とした,ノンパラメトリック回帰のミニマックス誤差レート解析を紹介する.ノンパラメトリック回帰の問題では,多くの標準的手法が滑らかな関数に対して汎化誤差のミニマックス最適レートを達成することがよく知られており,深層ニューラルネットワークの理論的優位性を明らかにすることは容易ではない.本稿で紹介する研究は,超曲面上に特異性を持つ非滑らかな関数のクラスに対する推定を考え,この理論的なギャップを埋めるものである.当該研究で得られた結果は以下の通りである:(i) 深層ニューラルネットワークによる関数推定量の汎化誤差を解析し,その収束レートが(対数オーダーの影響を除いて)最適であることを証明.(ii)深層ニューラルネットワークが カーネル法,ガウス過程法などの標準的手法を優越する状況を特定し,その相図を構成.この深層ニューラルネットワークの優位性は,多層構造が特異点の形状を適切に処理できることに由来する.