著者

渡辺澄夫 著

出版者

山川出版社

巻号頁・発行日

1971

著者

入口 亮介 渡辺 澄夫

出版者

一般社団法人電子情報通信学会

雑誌

電子情報通信学会技術研究報告. NC, ニューロコンピューティング (ISSN:09135685)

巻号頁・発行日

vol.106, no.588, pp.103-108, 2007-03-07

参考文献数

7

---

ニューラルネットワーク、混合正規分布、ベイズネットワーク、隠れマルコフモデル、ボルツマンマシン等の学習モデルは特異モデルと呼ばれ、パターン認識、時系列予測、システム制御等の様々な実問題に応用されている。しかしながらこれらの学習モデルは、階層的な構造や対称性に起因する特異点を持つため、最尤推定量が漸近正規性を持たない。そのため、従来の統計的正則モデルの漸近理論を適用することができず、理論的に最適なモデル選択や設計を行うためには代数幾何学的手法を用いた解析が必要となる。学習モデルの代数幾何学的な解析には、ブローアップによって学習モデルのゼータ関数の極を求める必要があるが、複雑なモデルになると困難である。本論文では、数値計算によりゼータ関数の極を求める新たな手法を提案する。

著者

宮崎 大 渡辺 澄夫

出版者

一般社団法人電子情報通信学会

雑誌

電子情報通信学会技術研究報告. IBISML, 情報論的学習理論と機械学習 (ISSN:09135685)

巻号頁・発行日

vol.114, no.306, pp.213-218, 2014-11-10

---

LASSO (Least Absolute Shrinkage and Selection Operator)回帰は回帰問題の罰則項としてパラメータの要素の絶対値の総和を用いる方法であり,推定されるパラメータがスパースである場合に有効であると考えられている.LASSO回帰は様々な統計的推測の問題への応用が試みられているが,罰則項の大きさの決定方法については未だに十分には確立されていない.本論文ではLASSO回帰の罰則項の決定問題をベイズ法の事前分布の最適化問題であると考え,事後分布が正規分布で近似できてもできなくても予測損失の漸近的な不偏推定を与える情報量規準WAICを用いて最適化する方法を提案し,その有効性を実験的に検討し,次の4点を明らかにする.(1)LASSO回帰の平均予測損失をWAICで推定することができる.(2)真のパラメータがスパースであるとき,LASSO回帰は有効であり,平均予測損失を最小にするハイパーパラメータをWAICの最小化により推測することができる.(3)真のパラメータがスパースでないときLASSO回帰は有効ではなく,有効でないことをWAICの値を観測することで知ることができる.(4)LASSO回帰においては周辺尤度を最大にするハイパーパラメータはWAICを最小にするハイパーパラメータと同じではなく,また周辺尤度の最大化は平均予測損失の最小化と等価ではない.

著者

宮崎 大 渡辺 澄夫

出版者

一般社団法人電子情報通信学会

雑誌

電子情報通信学会技術研究報告. MBE, MEとバイオサイバネティックス (ISSN:09135685)

巻号頁・発行日

vol.114, no.514, pp.331-336, 2015-03-09

---

LASSO (Least Absolute Shrinkage and Selection Operator)回帰は,二乗損失にパラメータの要素の絶対値の総和で表される罰則項を付加する方法であり,推定されるパラメータにスパース性が見られるときに有用であると考えられている.LASSO回帰はニューラルネットワークの学習や統計的推測の問題へ適用されているが,罰則項の大きさの決定方法については不十分な点が残されていた.我々はこれまでに,ベイズ法の観点からLASSO回帰を扱うことで,罰則項の決定問題を事前分布の最適化問題であると考え,事後分布が正規分布で近似できるか否かに関わらず予測損失の漸近的な不偏推定を与える情報量規準WAICを用いて最適化する方法を提案し,その有効性を実験的に明らかにした.本論文ではこの方法をLASSO回帰による都市データ解析に適用し,次の3点を明らかにする.(1)都市データ解析において,LASSO回帰とridge回帰の両方について,WAICを用いて適切なハイパーパラメータを設定することにより,推測において不要な変数を削減することができる.(2)用いた都市データに対しては,LASSO回帰とridge回帰では最適なハイパーパラメータが異なったが,推測されたパラメータはほぼ同じであった.(3)最小二乗法により推測されたパラメータでは変数削減効果が見られず,推測されたパラメータは上記の2方法とは大きく異なるものであった.

著者

今井 繁 小倉 信彦 渡辺 澄夫

出版者

一般社団法人電子情報通信学会

雑誌

電子情報通信学会技術研究報告. NC, ニューロコンピューティング (ISSN:09135685)

巻号頁・発行日

vol.99, no.684, pp.1-8, 2000-03-13

被引用文献数

5

---

人間は言語を用いて互いにコミュニケーションを行う.しかし, 言語はその複雑さゆえに, 脳がどのように生成・獲得しているかは大きな謎となっている.一方, ある種の生物にみられるような単純な信号によるコミュニケーションを計算機により人工的に生成することが可能である.本研究では, 通信する2人のハンターによる獲物捕獲問題を分類子システムにより学習させる.次に, 分類子集合から決定木を生成することにより本質的なルールを抽出し, ハンター間のコミュニケーションについての分析を行う.実験の結果抽出されたルールは, 人間による理解が比較的容易であり, 元の分類子集合に対してわずか6%程度のルール数でほぼ同程度の獲物捕獲性能を獲得できた.

著者

山崎 啓介 渡辺 澄夫

出版者

一般社団法人電子情報通信学会

雑誌

電子情報通信学会技術研究報告. NC, ニューロコンピューティング (ISSN:09135685)

巻号頁・発行日

vol.100, no.466, pp.23-30, 2000-11-17

被引用文献数

7

---

多層パーセプトロン、球形基底関数、混合正規分布などの階層構造を持つ推論モデルは、小さなモデルを表現するパラメータの集合が大きなモデルを表現するパラメータの集合の中の特異点を持つ解析的集合(解析関数の零点全体の集合)となり、特異なフィッシャー計量を持つために、学習精度を計算するアルゴリズムが確立されてない。本論では、真の分布を近似的に表現するパラメータ集合が作る体積の指数が学習精度と一致することを証明し、その性質を用いて学習精度を計算する確率的なアルゴリズムを提案し、有効性を実験的に検証する。