著者
赤池 弘次
出版者
一般社団法人 日本物理学会
雑誌
日本物理学会誌 (ISSN:00290181)
巻号頁・発行日
vol.35, no.7, pp.608-614, 1980-07-05 (Released:2008-04-14)
参考文献数
3
被引用文献数
1

L. Boltzmannによって導入されたエントロピーを統計的分布の確率の対数とする解釈は, 統計と確率との本質的な関係を明らかにする歴史的な貢献である. 数理統計学の発展は, このBoltzmannの業績に対する認識を欠いたままにすすめられたが, 最も著しい成果とみなされるものは常にこの確率論的エントロピーの概念に密接した研究によって得られている. 予測の視点と確率論的エントロピー概念との結合によって, 統計的方法の展開に有効な統一的視点が得られるとするのが筆者の主張である. これによって尤度概念の役割とその重要性に客観的な説明が与えられ, 従来問題視されたベイズ(Bayes)理論の実際的利用への道が開かれる.

言及状況

外部データベース (DOI)

はてなブックマーク (11 users, 18 posts)

“エントロピーとモデルの尤度(<講座>物理学周辺の確率統計) 赤池 弘次”
エントロピーとモデルの尤度

Twitter (231 users, 388 posts, 493 favorites)

#統計 たぶん、 lim_{n→∞}(対数尤度函数)/n = (KL情報量) + (定数) は赤池弘次さんに由来する見方で、最尤法の開発者のFisherさんは分かっていなかったと思われます↓ https://t.co/rVEPngIsM6 統計的推論のパラダイムの変遷について https://t.co/foCDt7FZBK エントロピーとモデルの尤度 https://t.co/88N4AX43AV
#統計 AICに興味がある人はツイッターの検索で最近の私の解説を読んだり、赤池弘次さん自身による1980年の論説 https://t.co/foCDt7FZBK エントロピーとモデルの尤度 日本物理学会誌35巻(1980)7号 を読んでおくと良いと思います。 赤池さんは実質的にSanovの定理を使って説明しています。 https://t.co/dl4KrNdD3h
#統計 Kullback-Leibler情報量入門としても、赤池弘次さんの1980年の論説は最良のものだと思う。 https://t.co/foCDt7FZBK エントロピーとモデルの尤度 日本物理学会誌35巻(1980)7号 これに限らず、日本物理学会誌に載っている解説は勉強になるものが多い。学生時代には図書館でよく読んでいた。 https://t.co/xEOuTF1Srk
#統計 KL情報量の日本語版ウィキペディアはSanovの定理に言及しておらず、非常によろしくない。 統計学での使い方は赤池弘次さんの1980年の論説 https://t.co/foCDt7FZBK エントロピーとモデルの尤度 を見れば分かります。そのp.610の右側で解説されていることが実質的にSanovの定理です。 https://t.co/K8ZG2Q3pom https://t.co/R348hTEr2h
#統計 論説の読み方のヒント Kullback-Leibler情報量入門では「より一般的なdivergenceの特別な場合」というスタイルの不鮮明な解説を読むよりも、赤池弘次さんの論説 https://t.co/foCDt7FZBK エントロピーとモデルの尤度 のp.610の右半分のスタイルで理解しておくのが良いと思います。続く
#統計 ごめんなさい。リンクをはるのに失敗していた。 尤度について理解したい人が読むと楽しめる赤池弘次さんによる1980年の論説は以下で読めます。 https://t.co/rVEPngIsM6 統計的推論のパラダイムの変遷について https://t.co/foCDt7FZBK エントロピーとモデルの尤度 添付画像は後者より
#統計 尤度がどのような指標であるかについては 1980年の赤池弘次さんによる尤度概念の解説が面白く読めるのでおすすめです。 https://t.co/rVEPngIsM6 統計的推論のパラダイムの変遷について https://t.co/yn24y7eh08 エントロピーとモデルの尤度 https://t.co/aYmzirnOCf
#統計 1980年の赤池弘次さんによる尤度概念の解説を読めば、実際に尤度の概念について一生のあいだ誤解し続けた人達が20世紀に沢山いたであろうことを想像できると思います。 https://t.co/rVEPngIsM6 統計的推論のパラダイムの変遷について https://t.co/foCDt7FZBK エントロピーとモデルの尤度
#統計 赤池弘次さんの1980年の2つの論説はこれ↓ https://t.co/rVEPngIsM6 統計的推論のパラダイムの変遷について https://t.co/foCDt7FZBK エントロピーとモデルの尤度 数え切れないくらい繰り返し、みんなに勧めて来た。 以下ではこれらを読んでいることを前提とします。続く
#統計 「黒木とか言う嫌な奴に絡まれるのが嫌だな」と思っている人は赤池弘次さんによる1980年の2つの論説を読んで理解しておけば心配せずに済むようになります(笑) https://t.co/rVEPngIsM6 統計的推論のパラダイムの変遷について https://t.co/foCDt7FZBK エントロピーとモデルの尤度
#統計 それをある条件のもとで最尤法を使った場合に可能にしたのが、赤池弘次さんです。 AICと書かれ、赤池さん自身は【an information criterion の略記】だと言っている(笑)。 赤池さんが書いたものはこういう点でも面白いのでおすすめ。 https://t.co/foCDt7FZBK https://t.co/VcQ4uXyZuT
#統計 KL情報量の-1倍を相対エントロピーと呼ぶ。 対数尤度(尤度の対数)の極限が相対エントロピーになることが、尤度の理解において決定的に重要なことは赤池弘次さんが指摘し、AICはその成果の1つである。 1980年の論説↓ https://t.co/foCDt7FZBK エントロピーとモデルの尤度 赤池弘次 https://t.co/QCWq3e2vQN
黒木玄さんが何度もツイートされているので大変恐縮ですが、本当に為になるので私も紹介させていただきます。 エントロピーとモデルの尤度 赤池弘次 https://t.co/SNIFonWQId
#統計 赤池弘次さんの1980年の2つの論説もお勧め (前世紀の黒歴史を潰す成果とみなされる) https://t.co/rVEPngIsM6 統計的推論のパラダイムの変遷について https://t.co/foCDt7FZBK エントロピーとモデルの尤度
#統計 赤池弘次さんは https://t.co/foCDt7FZBK エントロピーとモデルの尤度 赤池 弘次 1980 のp.610の右半分でSanovの定理に当たることをSanovの定理と言わずにエントロピーの言葉で説明しています。 KL情報量とFisher情報量の関係もその次のページで説明されている。 https://t.co/K1emLPsoI7
#統計 件の赤池論説(1980)への直接リンク https://t.co/YRhnSOzAll 統計的推論のパラダイムの変遷について 赤池弘次さんの次の論説(1980)も読み易いです。 https://t.co/0XWLnhwq6V エントロピーとモデルの尤度
#統計 赤池弘次さん本人によれば、AICのAは "an" を意味します。AIC = an information criterion なのだそうです。証拠は https://t.co/foCDt7FZBK エントロピーとモデルの尤度(<講座>物理学周辺の確率統計) 赤池 弘次 1980 のp.612にある(添付画像) https://t.co/txZd9Krnun https://t.co/s8B6BPE0Gy
#統計 添付画像は p.85より。pp.83-84に詳しい計算が書いてある。 https://t.co/wSDIgaOAqf の第1節 https://t.co/foCDt7FZBK p.610の右側 と同じ計算。 https://t.co/y1JiW3wp34
#統計 「尤度」と不適切な名前で呼ばれる量を理解することは難しいです。赤池弘次さんの https://t.co/rVEPngIsM6 によれば、最尤法をひろめたFisherさんは尤度について理解していなかった。
#統計 「未知の真の分布が未知であり続けていても、推定結果の妥当性について何が言えるのか?」という問題への突破口は1970年代に赤池弘次さんが開いたのだと私は認識しています。 1980年の以下の2つの論説に赤池さん自身による解説があります。 https://t.co/rVEPngIsM6 https://t.co/foCDt7FZBK
#統計 統計学の文脈でのKullback-Leibler情報量の解説でSanovの定理に触れていないものを読んで理解できなかった人は、上で紹介した赤池弘次さんによる解説の方を読むと理解が進むと思う。 https://t.co/foCDt7FZBK エントロピーとモデルの尤度(<講座>物理学周辺の確率統計) 赤池 弘次 1980
#統計 Sanovの定理の易しい場合の解説は https://t.co/wSDIgaOAqf Kullback-Leibler情報量とSanovの定理 にあります。赤池弘次さんも https://t.co/foCDt7FZBK で易しい場合のSanovの定理を解説しています(添付画像)。 Sanovの定理による情報量規準の解説はこのように「由緒正しいもの」です。 https://t.co/ohdPJczimn
#統計 再紹介、再リンク 赤池弘次さんの1980年の論説は以下のリンク先で読めます。 https://t.co/weTcekZdjG 統計的推論のパラダイムの変遷について https://t.co/foCDt7FZBK エントロピーとモデルの尤度(<講座>物理学周辺の確率統計 どちらも非常に面白いです。
@genkuroki 「エントロピーとモデルの尤度」、リンク先に誤りがございませんでしょうか("www"が抜けているようです。即ち、以下が正しいように思われます)。 https://t.co/JZqwdze6F9
#統計 その辺をおさえた上での文献紹介。 以下の2つの赤池弘次さんの40年前(1980)の論説は今でも読む価値があります。 https://t.co/weTcekZdjG 統計的推論のパラダイムの変遷について https://t.co/yn24y7eh08 エントロピーとモデルの尤度(<講座>物理学周辺の確率統計) https://t.co/uIwyzQK5Lp
#統計 尤度の概念については最尤法の開発者のFisherさん自身もよく分かっていなかった。赤池弘次さんの1980年の2つの論説は非常によいです。 https://t.co/weTcekZdjG 統計的推論のパラダイムの変遷について https://t.co/foCDt7FZBK エントロピーとモデルの尤度(<講座>物理学周辺の確率統計)
#統計 赤池弘次さんの1980年の論説や渡辺澄夫さんの講義のスライドは見る価値があります。 赤池弘次さんの1980年の論説↓ https://t.co/weTcekZdjG 統計的推論のパラダイムの変遷について 赤池 弘次 https://t.co/yn24y7eh08 エントロピーとモデルの尤度 赤池 弘次 https://t.co/yk5HEGjffR
#統計 https://t.co/foCDt7FZBK エントロピーとモデルの尤度(<講座>物理学周辺の確率統計) 赤池 弘次 1980
#統計 赤池弘次さん自身によるKullback-Leibler情報量とそのSanovの定理と使い方に関する解説が https://t.co/hP2yrrP150 エントロピーとモデルの尤度 赤池 弘次 1980 にある。(相対)エントロピーの-1倍(ネゲントロピー)がKL情報量に一致。Sanovの定理にあたることはp.610の右半分にある。
#統計 1980年の赤池弘次さんの2つの論説 https://t.co/weTcekZdjG 統計的推論のパラダイムの変遷について 赤池 弘次 1980 https://t.co/foCDt7FZBK エントロピーとモデルの尤度 赤池 弘次 1980 赤池さんによればFisherさんは尤度(ゆうど)について十分に理解していなかった。
エントロピーとモデルの尤度(<講座>物理学周辺の確率統計) 赤池 弘次 https://t.co/kRNDOyRQkj
#統計 赤池弘次さんが、フィッシャーとかサヴェジなどを滅多斬りにした論説を発表したのが1980年。 https://t.co/YRhnSOzAll さらに https://t.co/0XWLnhwq6V も参照。 ポイントは対数尤度の解釈。 尤度函数全体が持っている情報をうまく利用する数学的枠組みがベイズ統計。
#数楽 AICでも有名な赤池さんの論説 https://t.co/foCDt7FZBK エントロピーとモデルの尤度 赤池 弘次 1980 では log n!=n log n -n +(1/2)log n +log√(2π) +O(1/n) の右辺の最初の2項だけを使う近似を行なっている。 これを理解できないと対数尤度のような統計学での基本概念を理解できない。 https://t.co/Cfk2eWZzPt
https://t.co/UM87qHPH0r これもっと早く知りたかった
#統計 大数の法則の次くらいに基礎的な定理であるKullback-Leibler情報量のSanovの定理。その定理の有限集合上の確率分布のケースはスターリングの公式を知っていると瞬時に証明できる。AICなどで有名な赤池弘次さんもそういう解説をしています。 https://t.co/foCDt7FZBK のp.610の右段の全体
#統計 話が変わりますが、20世紀の統計に関する考え方については、赤池弘次さんの次の論説が非常に参考になりました。 https://t.co/YRhnSOzAll 統計的推論のパラダイムの変遷について(1980) 赤池弘次 こういう話を学生時代に聴きたかった。あと次も面白い。 https://t.co/0XWLnhwq6V
#統計 赤池弘次さんの論説 https://t.co/weTcekZdjG 統計的推論のパラダイムの変遷について https://t.co/Nle5j9of9A エントロピーとモデルの尤度 「尤度ってどうしてもっともらしさなの?」「客観確率 vs. 主観確率という対立図式はおかしいよね?」のような疑問を持つ人達には特におすすめ。
#統計 赤池弘次さんの論説 https://t.co/weTcekZdjG 統計的推論のパラダイムの変遷について https://t.co/Nle5j9of9A エントロピーとモデルの尤度 「尤度ってどうしてもっともらしさなの?」「客観確率 vs. 主観確率という対立図式はおかしいよね?」のような疑問を持つ人達には特におすすめ。
#統計 https://t.co/Nle5j9FQya エントロピーとモデルの尤度 赤池 弘次 には他にも色々面白い部分があって、赤池さんは AIC (an information criterion) と書いていて、それに編集委員会が脚注を付けています(笑)。 https://t.co/e6v49w9jlC
#統計 添付画像は赤池弘次さんによるKullback-Leibler情報量に関するSanovの定理の簡潔な解説。 https://t.co/Nle5j9of9A より 「Sanovの定理」とか呼ぶと何か難しい結果のように誤解してしまうかもしれないが、実際には多項分布の確率の式にスターリングの公式を代入しただけの結果である。 https://t.co/4AbNKDjPNC
#統計 「頻度主義 vs. ベイズ主義」という対立図式でベイズ統計に関する講義をしてしまった人が、赤池さんの論説を読んだら、顔が真っ青になるんじゃないかと思いました。 https://t.co/2yI8DNOy7N 統計的推論のパラダイムの変遷について https://t.co/Nle5j9of9A エントロピーとモデルの尤度
#統計 「統計的推論のパラダイムの変遷について」 https://t.co/2yI8DNOy7N を読んで疑問が残った人はもう一つの 「エントロピーとモデルの尤度」 https://t.co/Nle5j9of9A も読むと得るところが多いと思います。そこでのエントロピーはKL情報量のことだと思って構いません。
エントロピーとモデルの尤度(物理学周辺の確率統計): エントロピーとモデルの尤度(物理学周辺の確率統計) 1) 赤池弘次:数理科学 No. 153 (1976) 3. 2) R.A. Fisher:… https://t.co/N0A46912P7 [fav]
エントロピーとモデルの尤度(<講座>物理学周辺の確率統計) https://t.co/WVKWqjy9kM
@genkuroki 黒木玄先生、リプライ有難うございます。赤池弘次先生のこの論文を読むと、シャノン・エントロピーは対数尤度の期待値として解釈できると書いてありますね。汎関数微分によって尤度を最大化する確率の関数形を求めていると解釈できないでしょうか。 https://t.co/yJ0sNaKtCs https://t.co/EGAm623Rug

収集済み URL リスト