著者

鈴木 大慈

出版者

一般社団法人 システム制御情報学会

雑誌

システム/制御/情報 (ISSN:09161600)

巻号頁・発行日

vol.62, no.10, pp.396-404, 2018-10-15 (Released:2019-04-15)

参考文献数

19

著者

鈴木 大慈

出版者

一般社団法人 日本統計学会

雑誌

日本統計学会誌 (ISSN:03895602)

巻号頁・発行日

vol.50, no.2, pp.229-256, 2021-03-05 (Released:2021-03-05)

参考文献数

63

---

本稿では深層学習がなぜうまくいくのかという疑問に答えるべくその統計理論を紹介する.特にその関数近似能力および推定能力に関して議論し,深層学習には対象の関数に合わせた適応的推定が可能であることを紹介する.そのため,深層学習の万能近似能力を紹介した後,Barronクラスや非等方的Besov空間における推定理論とミニマックス最適性を議論し,線形推定量と比べて次元の呪いを回避できることや関数の滑らかさの非一様性への適応性といった優れた性質を持っていることを紹介する.最後に,パラメータがサンプルサイズよりも多いニューラルネットワークがいかに汎化するかをカーネル法の観点から解析した汎化誤差理論を紹介する.

著者

福水 健次 鈴木 大慈 小林 景

出版者

統計数理研究所

雑誌

基盤研究(B)

巻号頁・発行日

2014-04-01

---

H29年度はカーネル法の効率的計算アルゴリズムの課題を中心に研究を遂行した.まず,カーネル法を用いた分布間の距離尺度としてよく用いられる Maximum Mean Discrepancy (MMD)の効率的計算に関して研究を行った.MMDの計算は,そのまま実行するとサンプル数 n に対して O(n^2) の計算量がかかるため大規模なデータに使うことが難しい.これに対し,MMDをU統計量として表現して,データからのランダムサンプリングを行う不完全U統計量の計算を行うと,計算量が削減されるだけでなく,分布の均一性検定の帰無分布が漸近正規性を満たすという非常に良いよい性質を持つことが分かった.この結果に基づいて,MMDの効率計算を従来から研究を行っていた事後選択推論(Post Selection Inference)に応用した論文をまとめて投稿準備を行っている.また,カーネル法を用いた自然言語処理における共起尺度に関して共同研究を行い,低ランク近似の方法を用いることによって比較的少ない計算量で尺度を構築することが可能で,巨大なコーパスからでも学習が可能であることを示した.さらに,カーネル法による分布埋め込みに関するサーベイ論文を出版した.このトピックは本課題においても大きな役割を果たす技術であるが,まとまって書かれた教科書などは存在していなかった.本サーベイ論文は技術を普及するうえで重量な役割を持つと考える.

著者

杉山 将 鈴木 大慈

雑誌

情報処理

巻号頁・発行日

vol.56, no.5, pp.442-447, 2015-04-15

---

インターネットから得られるテキスト,音声,画像,映像などのマルチメディアデータ,ウェアラブル機器から得られるライフログデータ,パーソナルファブリケーションデータ,ロボットの探査データなど,さまざまな場面で膨大な量のデータが収集・蓄積されるようになってきた.このようなビッグデータを活用して新たな価値を創造するためには,機械学習による知的なデータ解析が重要である.本稿では,統計的パターン認識を例に取り,機械学習でよく用いられる数学の基礎的事項を解説する.

著者

鈴木 大慈

出版者

一般社団法人 日本応用数理学会

雑誌

応用数理 (ISSN:24321982)

巻号頁・発行日

vol.28, no.1, pp.32-37, 2018-03-23 (Released:2018-06-30)

参考文献数

26

被引用文献数

3

著者

鈴木 大慈

出版者

一般社団法人 日本応用数理学会

雑誌

応用数理 (ISSN:24321982)

巻号頁・発行日

vol.28, no.4, pp.28-33, 2018-12-21 (Released:2019-03-31)

参考文献数

20

被引用文献数

2

著者

鈴木 大慈

出版者

一般社団法人 日本応用数理学会

雑誌

応用数理 (ISSN:24321982)

巻号頁・発行日

vol.28, no.2, pp.28-33, 2018-06-26 (Released:2018-09-30)

参考文献数

16

被引用文献数

5

著者

鈴木 大慈

出版者

一般社団法人 日本応用数理学会

雑誌

日本応用数理学会論文誌 (ISSN:24240982)

巻号頁・発行日

vol.23, no.3, pp.537-561, 2013-09-25 (Released:2017-04-08)

---

本稿では統計的学習理論における基本的な道具立てを概説する.統計的学習理論は,学習手法の意味や正当性およびその最適性といった問題を議論する.特に,教師データを増やしていった時いかに汎化誤差が収束してゆくかという問題は主要な興味の対象である.汎化誤差の振る舞いを解析するにあたり,経験過程の理論が重要な役割を果たす.また,minimaxリスクの下限を導出する情報理論的技法も紹介する.

著者

鈴木 大慈

出版者

一般社団法人 日本応用数理学会

雑誌

応用数理 (ISSN:24321982)

巻号頁・発行日

vol.28, no.3, pp.27-33, 2018-09-26 (Released:2018-12-26)

参考文献数

16

著者

合原 一幸 宮野 悟 鈴木 大慈 奥 牧人 藤原 寛太郎 中岡 慎治 森野 佳生

出版者

東京大学

雑誌

基盤研究(S)

巻号頁・発行日

2015-05-29

---

1. 数理モデルに基づく前立腺がんの内分泌療法と他の疾患への展開前立腺がんに関しては、PSA(Prostate Specific Antigen: 前立腺特異抗原)という高感度のバイオマーカーが存在するため、数理モデルの性能を PSAデータを用いて定量的に評価することが可能である。平成28年度は、昨年度までの解析をさらに進めると共に、統計的機械学習理論を用いて、不十分なPSA時系列データからの予後予測を目指した拡張手法の研究および数理モデルによる分類と癌の転移との関係性についての検討を行った。2. 動的ネットワークバイオマーカー理論の発展とその応用本研究では、病態の変化を一種の複雑生体ネットワークの動的な状態遷移としてとらえ、疾患前後で先導して不安定化する生体ネットワークの部分ネットワーク (動的ネットワークバイオマーカー DNB) を効率的に検出する数理手法とアルゴリズムを開発している。平成28年度は、これまでの成果をさらに発展させ、あらたな遺伝子発現情報のビッグデータを解析の対象として DNB の有効性を確認した。また、DNB を効率的に検出する数理手法の理論的基盤の整理、観測データから生命システムの複雑ネットワーク構造を再構築する手法の開発、DNB 検出に応用可能なテンソル解析など機械学習手法の開発、腫瘍内不均一性を含めた癌の進化シミュレーションモデルの構築、構成要素の多様性減少による遷移方式および遷移に関わる少数因子の相互作用を記述した数理モデルの構築と分析などを行った。

著者

冨岡 亮太 鈴木 大慈 杉山 将

出版者

一般社団法人電子情報通信学会

雑誌

電子情報通信学会技術研究報告. PRMU, パターン認識・メディア理解 (ISSN:09135685)

巻号頁・発行日

vol.109, no.182, pp.43-48, 2009-08-24

被引用文献数

2

---

スパース正則化は凸最適化を通して変数選択や多様な情報源の統合を実現するための系統的な枠組みとして近年注目されている。多くのスパース正則化法は滑らかでない最適化問題として定式化されるため、このような問題を効率的に解く方法が求められている。本論文では、一般の凸な損失関数と広いクラスの正則化関数に対する最適化手法をproximal minimizationの枠組みから導出し、理論的な性質を議論し、既存の手法との関係を解説する。講演では実際のパターン認識やCVの問題を題材として、非常に多くの素性やカーネルが与えられたもとでいかに効率よくこれらを選択し学習することができるかデモンストレーションを行う。

著者

鈴木 大慈

出版者

一般社団法人 日本応用数理学会

雑誌

応用数理 (ISSN:24321982)

巻号頁・発行日

vol.27, no.3, pp.7-14, 2017-09-26 (Released:2017-12-26)

参考文献数

26

---

Low rank tensor estimation has a lot of applications such as recommendation system, spatiotemporal data analysis, and multi-task learning. We consider a Bayes estimator for this problem. We give theoretical analyses for the Bayes estimator and show that the Bayes estimator achieves the minimax optimal predictive accuracy. We also consider a nonparametric tensor model and a Bayes estimator for that model. It is also shown that the Bayes estimator of the nonparametric model achieves the minimax optimality. Finally, numerical experiments were conducted on restaurant evaluation data and give comparison with the Bayes estimators and other methods.

著者

鈴木 大慈

出版者

一般社団法人 日本統計学会

雑誌

日本統計学会誌 (ISSN:03895602)

巻号頁・発行日

vol.47, no.2, pp.141-157, 2018-03-30 (Released:2018-10-05)

参考文献数

43

---

Multiple Kernel Learning (MKL) について正則化法およびベイズ推定法を紹介し,その汎化誤差解析について概説する.正則化法については,ℓ1-正則化およびエラスティックネット型の正則化を考察する.エラスティックネット型の正則化はスパース性を誘導するℓ1-正則化と滑らかさを制御するℓ2-正則化の組み合わせで表される.ベースとなるカーネル関数の数は多くても,真の関数に必要なカーネル関数の数は少ないスパースな状況を考察し,これまで得られていたレートよりも速い収束レートを導出する.さらに,ガウシアンプロセス事前分布を用いたベイズ推定量を考察し,一次独立性の条件を仮定せずとも速い収束レートを達成できることを示す.