著者
渡辺 澄夫
出版者
日本神経回路学会
雑誌
日本神経回路学会誌 (ISSN:1340766X)
巻号頁・発行日
vol.14, no.3, pp.218-225, 2007-09-05 (Released:2008-11-21)
参考文献数
7
被引用文献数
2 or 0

本稿では, 人工知能や情報工学などの物理学とは直接に関係していない分野の研究者や技術者のために, 平衡統計力学の入門的な紹介を行う. その中でも特に大切な概念のひとつである無限次元空間上の確率分布の基礎的な性質について, 物理学の知識・自然への関心・数学的な感受性などを仮定せずに説明を行う.
著者
渡辺 澄夫
出版者
日本神経回路学会
雑誌
日本神経回路学会誌 (ISSN:1340766X)
巻号頁・発行日
vol.10, no.4, pp.211-219, 2003-12-05 (Released:2011-03-14)
参考文献数
41
被引用文献数
1 or 0

人工的神経回路網に代表される多くの確率的推論モデルは, フィッシャー情報行列が特異となるパラメータを持つため, 統計的正則モデルではないことが知られている. 現在でも, その学習の数学的な性質の多くは謎のままであるが, 近年の研究の進展により, ベイズ学習については多くの事実が解明されるようになってきた. 本論では, 特異モデルにおけるベイズ学習について, 数学的な美しさと実世界問題における有用性を解説する.
著者
渡辺 澄夫
出版者
物性研究刊行会
雑誌
物性研究 (ISSN:07272997)
巻号頁・発行日
vol.97, no.5, pp.1145-1161, 2012-02-05

この論文は国立情報学研究所の電子図書館事業により電子化されました。
著者
渡辺 澄夫
出版者
物性研究刊行会
雑誌
物性研究 (ISSN:05252997)
巻号頁・発行日
vol.97, no.5, pp.1145-1161, 2012-02-05

統計的推測の問題を考えるときに現れる物理学と数学について紹介する。統計的推測の問題は、ランダム・ハミルトニアンによって定義されるカノニカル分布のもとでマクロな変量の挙動を考える問題と等価である。特に、観測データの背後にある構造を推測する場合には、基底状態が特異点を持つ解析的集合であるカノニカル分布を考察する問題になり、マクロな変量が従う法則を導出する際に代数幾何などの数学的手段が有効である。統計力学と類似する理論の構築により、統計的推測においても普遍性を持つ公式が存在すること、および、その公式は双有理不変量を与えていることが明らかになる。
著者
渡辺 澄夫
出版者
公益社団法人 計測自動制御学会
雑誌
計測と制御 (ISSN:04534662)
巻号頁・発行日
vol.44, no.5, pp.293-298, 2005-05-10 (Released:2009-11-26)
参考文献数
7
著者
一政 信行 渡辺 澄夫
出版者
一般社団法人電子情報通信学会
雑誌
電子情報通信学会総合大会講演論文集
巻号頁・発行日
vol.1996, no.1, 1996-03-11

近年、音声合成技術が実用に使われるようになり、多種多様な機能が求められている。本論では、ニューラルネットと動的計画法を用いて特定の個人の口調のものまねを自動的に行うシステムを提案する。
著者
西上 功一郎 渡辺 澄夫
出版者
一般社団法人電子情報通信学会
雑誌
電子情報通信学会論文誌. D-II, 情報・システム, II-パターン処理 = The transactions of the Institute of Electronics, Information and Communication Engineers. D-II (ISSN:09151923)
巻号頁・発行日
vol.86, no.1, pp.119-129, 2003-01-01
被引用文献数
17 or 0

情報システムの統計的学習においては,複数のモデルの候補から与えられた規準に対して最も適するモデルを選ぶ操作が必要になる.その規準として,真の分布を最大の確率で見出すための一致性の規準,及び予測誤差を最小にするための有効性の規準がある.正則な統計モデルにおいては,AICやBICなどの規準が提唱され,その性質が詳しく研究されているが,神経回路網や混合正規分布などの特異点をもつ学習モデルの選択のための規準については,不明なことが少なくない.本論文では,特異点をもつモデルのベイズ学習について考察し,確率的複雑さを最小にするモデル選択法において,常に正値の事前分布を用いる方法とジェフリーズの事前分布を用いる方法とを,一致性及び有効性に関する観点から比較する.既に知られている理論的な命題を基盤として,二つの分布の違いについて合理的な予想を行い,その予想を実験的に検証する.特に,学習モデル族が真の分布を含んでいる場合には,ジェフリーズの事前分布が一致性・有効性の両面で優れていること,反対に,学習モデル族が真の分布を含んでいない場合には,常に正値をとる事前分布が有効性において優れていることを実験的に明らかにする.
著者
渡辺 澄夫
出版者
広島史学研究会
雑誌
史学研究 (ISSN:03869342)
巻号頁・発行日
no.39, pp.92-106, 1949-10
著者
渡辺 澄夫 Sumio Watanabe 東京工業大学精密工学研究所 Precision and Intelligence Laboratory Tokyo Institute of Technology
雑誌
人工知能学会誌 = Journal of Japanese Society for Artificial Intelligence (ISSN:09128085)
巻号頁・発行日
vol.16, no.2, pp.308-315, 2001-03-01

The parameter space of a hierarchical learning machine is not a Riemannian manifold since the rank of the Fisher information metric depends on the parameter.In the previous paper, we proved that the stochastic complexity is asymptotically equal to λ log n-(m-1)log log n, where λ is a rational number, m is a natural number, and n is the number of empirical samples.Also we proved that both λ and m are calculated by resolution of singularties.However, both λ and m depend on the parameter representation and the size of the true distribution.In this paper, we study Jeffreys' prior distribution which is coordinate free, and prove that 2λ is equal to the dimension of the parameter set and m=1 independently of the parameter representation and singularities.This fact indicated that Jeffreys' prior is useful in model selection and knowledge discovery, in spite that it makes the prediction error to be larger than positive distributions.
著者
入口 亮介 渡辺 澄夫
出版者
一般社団法人電子情報通信学会
雑誌
電子情報通信学会技術研究報告. NC, ニューロコンピューティング (ISSN:09135685)
巻号頁・発行日
vol.106, no.588, pp.103-108, 2007-03-07
参考文献数
7

ニューラルネットワーク、混合正規分布、ベイズネットワーク、隠れマルコフモデル、ボルツマンマシン等の学習モデルは特異モデルと呼ばれ、パターン認識、時系列予測、システム制御等の様々な実問題に応用されている。しかしながらこれらの学習モデルは、階層的な構造や対称性に起因する特異点を持つため、最尤推定量が漸近正規性を持たない。そのため、従来の統計的正則モデルの漸近理論を適用することができず、理論的に最適なモデル選択や設計を行うためには代数幾何学的手法を用いた解析が必要となる。学習モデルの代数幾何学的な解析には、ブローアップによって学習モデルのゼータ関数の極を求める必要があるが、複雑なモデルになると困難である。本論文では、数値計算によりゼータ関数の極を求める新たな手法を提案する。
著者
宮崎 大 渡辺 澄夫
出版者
一般社団法人電子情報通信学会
雑誌
電子情報通信学会技術研究報告. IBISML, 情報論的学習理論と機械学習 (ISSN:09135685)
巻号頁・発行日
vol.114, no.306, pp.213-218, 2014-11-10

LASSO (Least Absolute Shrinkage and Selection Operator)回帰は回帰問題の罰則項としてパラメータの要素の絶対値の総和を用いる方法であり,推定されるパラメータがスパースである場合に有効であると考えられている.LASSO回帰は様々な統計的推測の問題への応用が試みられているが,罰則項の大きさの決定方法については未だに十分には確立されていない.本論文ではLASSO回帰の罰則項の決定問題をベイズ法の事前分布の最適化問題であると考え,事後分布が正規分布で近似できてもできなくても予測損失の漸近的な不偏推定を与える情報量規準WAICを用いて最適化する方法を提案し,その有効性を実験的に検討し,次の4点を明らかにする.(1)LASSO回帰の平均予測損失をWAICで推定することができる.(2)真のパラメータがスパースであるとき,LASSO回帰は有効であり,平均予測損失を最小にするハイパーパラメータをWAICの最小化により推測することができる.(3)真のパラメータがスパースでないときLASSO回帰は有効ではなく,有効でないことをWAICの値を観測することで知ることができる.(4)LASSO回帰においては周辺尤度を最大にするハイパーパラメータはWAICを最小にするハイパーパラメータと同じではなく,また周辺尤度の最大化は平均予測損失の最小化と等価ではない.
著者
宮崎 大 渡辺 澄夫
出版者
一般社団法人電子情報通信学会
雑誌
電子情報通信学会技術研究報告. MBE, MEとバイオサイバネティックス (ISSN:09135685)
巻号頁・発行日
vol.114, no.514, pp.331-336, 2015-03-09

LASSO (Least Absolute Shrinkage and Selection Operator)回帰は,二乗損失にパラメータの要素の絶対値の総和で表される罰則項を付加する方法であり,推定されるパラメータにスパース性が見られるときに有用であると考えられている.LASSO回帰はニューラルネットワークの学習や統計的推測の問題へ適用されているが,罰則項の大きさの決定方法については不十分な点が残されていた.我々はこれまでに,ベイズ法の観点からLASSO回帰を扱うことで,罰則項の決定問題を事前分布の最適化問題であると考え,事後分布が正規分布で近似できるか否かに関わらず予測損失の漸近的な不偏推定を与える情報量規準WAICを用いて最適化する方法を提案し,その有効性を実験的に明らかにした.本論文ではこの方法をLASSO回帰による都市データ解析に適用し,次の3点を明らかにする.(1)都市データ解析において,LASSO回帰とridge回帰の両方について,WAICを用いて適切なハイパーパラメータを設定することにより,推測において不要な変数を削減することができる.(2)用いた都市データに対しては,LASSO回帰とridge回帰では最適なハイパーパラメータが異なったが,推測されたパラメータはほぼ同じであった.(3)最小二乗法により推測されたパラメータでは変数削減効果が見られず,推測されたパラメータは上記の2方法とは大きく異なるものであった.
著者
今井 繁 小倉 信彦 渡辺 澄夫
出版者
一般社団法人電子情報通信学会
雑誌
電子情報通信学会技術研究報告. NC, ニューロコンピューティング (ISSN:09135685)
巻号頁・発行日
vol.99, no.684, pp.1-8, 2000-03-13
被引用文献数
5 or 0

人間は言語を用いて互いにコミュニケーションを行う.しかし, 言語はその複雑さゆえに, 脳がどのように生成・獲得しているかは大きな謎となっている.一方, ある種の生物にみられるような単純な信号によるコミュニケーションを計算機により人工的に生成することが可能である.本研究では, 通信する2人のハンターによる獲物捕獲問題を分類子システムにより学習させる.次に, 分類子集合から決定木を生成することにより本質的なルールを抽出し, ハンター間のコミュニケーションについての分析を行う.実験の結果抽出されたルールは, 人間による理解が比較的容易であり, 元の分類子集合に対してわずか6%程度のルール数でほぼ同程度の獲物捕獲性能を獲得できた.
著者
山崎 啓介 渡辺 澄夫
出版者
一般社団法人電子情報通信学会
雑誌
電子情報通信学会技術研究報告. NC, ニューロコンピューティング (ISSN:09135685)
巻号頁・発行日
vol.100, no.466, pp.23-30, 2000-11-17
被引用文献数
7 or 0

多層パーセプトロン、球形基底関数、混合正規分布などの階層構造を持つ推論モデルは、小さなモデルを表現するパラメータの集合が大きなモデルを表現するパラメータの集合の中の特異点を持つ解析的集合(解析関数の零点全体の集合)となり、特異なフィッシャー計量を持つために、学習精度を計算するアルゴリズムが確立されてない。本論では、真の分布を近似的に表現するパラメータ集合が作る体積の指数が学習精度と一致することを証明し、その性質を用いて学習精度を計算する確率的なアルゴリズムを提案し、有効性を実験的に検証する。