355 0 0 0 OA エントロピーとモデルの尤度(<講座>物理学周辺の確率統計)
- 著者
- 赤池 弘次
- 出版者
- 一般社団法人 日本物理学会
- 雑誌
- 日本物理学会誌 (ISSN:00290181)
- 巻号頁・発行日
- vol.35, no.7, pp.608-614, 1980-07-05 (Released:2008-04-14)
- 参考文献数
- 3
- 被引用文献数
- 2
L. Boltzmannによって導入されたエントロピーを統計的分布の確率の対数とする解釈は, 統計と確率との本質的な関係を明らかにする歴史的な貢献である. 数理統計学の発展は, このBoltzmannの業績に対する認識を欠いたままにすすめられたが, 最も著しい成果とみなされるものは常にこの確率論的エントロピーの概念に密接した研究によって得られている. 予測の視点と確率論的エントロピー概念との結合によって, 統計的方法の展開に有効な統一的視点が得られるとするのが筆者の主張である. これによって尤度概念の役割とその重要性に客観的な説明が与えられ, 従来問題視されたベイズ(Bayes)理論の実際的利用への道が開かれる.
言及状況
外部データベース (DOI)
はてなブックマーク (11 users, 18 posts)
[統計学][AIC]
“エントロピーとモデルの尤度(<講座>物理学周辺の確率統計) 赤池 弘次”
[あとで読む]
[jst]
[jst]
[データ]
エントロピーとモデルの尤度
[jst][u]
[jst][u]
Twitter (344 users, 567 posts, 917 favorites)
#数楽 #統計 他にも、赤池弘次さんが赤池情報量規準について解説している
https://t.co/foCDt7Y8PS
エントロピーとモデルの尤度(ゆうど)
赤池 弘次
1980
にも、Stirlingの公式の弱形が「近似」として登場しています。(近似の意味での=は≈と書いた方が混乱は少ないが、=と書かれることも多い。) https://t.co/N1437e8bhE
J-STAGE Articles - エントロピーとモデルの尤度(<講座>物理学周辺の確率統計) https://t.co/B3fKjLQp2X
物理学会誌にこんな解説があったんだ（１９８０年）
日本物理学会誌は宝の山。よく聞くようになった AIC、ご本人による解説。https://t.co/x0LFQihyZK
確率とは不確実性の下での決定の評価という主観的、心理的な側面をもつ。ボルツマンは統計的分布と確率との橋渡しをした。物理を超えて人類の知的活動の全分野におよぶ。
これ理解しなきゃ。
#統計 赤池弘次さんは1980年に非常に良い解説を日本語で2つ書いていて、既出の
https://t.co/rVEPnh0C0e
統計的推論のパラダイムの変遷について
と
https://t.co/foCDt7Y8PS
エントロピーとモデルの尤度
は非常に良いです。
これらの文献は、多分、妙な思い込みから抜け出すのにも役に立つ。
#統計 PRMLの(1.119)式の少し上にあるKLダイバージェンスの説明も雑過ぎると思います。
赤池弘次さんのように、KLダイバージェンスがどのような意味での予測誤差の指標になっているかを説明するSanovの定理の説明を挿入する方が自然な説明の仕方だと思います。
https://t.co/foCDt7Y8PS https://t.co/JE0oJdYu9Y
#統計 実践的には、尤度最大化がKLダイバージェンス最小化と等価では__ない__と考えるべきであることから生まれたのが所謂情報量規準の理論です。
元祖の赤池弘次さん本人による解説
↓
https://t.co/foCDt7Y8PS
エントロピーとモデルの尤度(<講座>物理学周辺の確率統計) https://t.co/46eGXbTrFM
#統計 補足資料6
赤池弘次さんの1980年の2つの論説は非常に面白いです。
https://t.co/rVEPnh0C0e
統計的推論のパラダイムの変遷について
https://t.co/yn24y6XdY8
エントロピーとモデルの尤度(<講座>物理学周辺の確率統計)
「頻度主義vs.ベイズ主義」のような有害な言説とは全然違う世界！ https://t.co/hmgoC7y9wK
#統計 ②のタイプの問題の解き方としてシンプルな簡易版Stirlingの公式を証明して使うという戦術もあり得ます。
その流れで、赤池弘次さんによるAICのアイデアの解説も読めてしまいます！これは明らかに価値がべらぼうに高い！
https://t.co/foCDt7Y8PS https://t.co/XS4cupy1yL
@masashikomori @nikata920 ご本人はちゃんと規準と認識しているよう（https://t.co/FeZKR4IrHP）だけど，一方でAはAkaikeではなく不定冠詞だと主張していたようで，そこに編集委員会が脚注をつけるという面白い展開（https://t.co/vFKgUDQyO5）もありました．
#数楽 #統計 繰り返し、みんなに読むことを勧めている赤池弘次さんの1980年の論説
https://t.co/rVEPnh0C0e
統計的推論のパラダイムの変遷について
https://t.co/foCDt7Y8PS
エントロピーとモデルの尤度(<講座>物理学周辺の確率統計)
の後者でも
log N! ≈ N log N - N
を使っています。 https://t.co/TJTuIHz0H4
赤池1980(エントロピーとモデルの尤度)での問題意識:
https://t.co/p7pOvSrmun https://t.co/TeQLCcj1n6
#統計 20世紀の統計学における尤度に関する理解について知りたければ赤池弘次さんの1980年の論説を読めばよい。
https://t.co/rVEPnh0C0e
統計的推論のパラダイムの変遷について
赤池弘次
1980
https://t.co/foCDt7Y8PS
エントロピーとモデルの尤度(<講座>物理学周辺の確率統計)
赤池弘次
1980
#統計 尤度概念に関する理解について私はいつも40年以上前(
1980年)の赤池弘次さんの論説をすすめています。結構読み易いです。無料で読める。
https://t.co/yn24y7eh08
エントロピーとモデルの尤度(<講座>物理学周辺の確率統計)
https://t.co/rVEPngIsM6
統計的推論のパラダイムの変遷について
#統計 添付画像は
https://t.co/foCDt7FZBK
エントロピーとモデルの尤度(<講座>物理学周辺の確率統計)
赤池 弘次
1980
より。赤池さんはStirlingの公式で多項分布の確率の対数の漸近挙動の主要項を手際よく得ている。 https://t.co/WgWD66m6hQ https://t.co/IPaDLlwNje
@masatokun_markn @worldblue0214 @kaggle_hokudai #統計 赤池弘次さん本人による40年以上前のクリアで平易な解説が以下の場所で読めます。
https://t.co/rVEPngIsM6
統計的推論のパラダイムの変遷について
https://t.co/foCDt7FZBK
エントロピーとモデルの尤度(<講座>物理学周辺の確率統計)
後者での相対エントロピーB(p,q)の-1倍がKL情報量です。 https://t.co/lPLFN8guVC
#統計 約40年前の赤池弘次さんの考え方は以下の1980年の論説を読むと分かる。結構読み易いです。
https://t.co/rVEPngIsM6
統計的推論のパラダイムの変遷について
https://t.co/yn24y7eh08
エントロピーとモデルの尤度(<講座>物理学周辺の確率統計) https://t.co/vuGlwdRdLZ
#統計 約40年前の赤池弘次さんの考え方は以下の1980年の論説を読むと分かります。
https://t.co/rVEPngIsM6
統計的推論のパラダイムの変遷について
https://t.co/yn24y7eh08
エントロピーとモデルの尤度(<講座>物理学周辺の確率統計)
まさかこんな文献を高校数学のために紹介することになるとは！ https://t.co/eKJTmC0W8t
> 観測データが与えられたとき, モデルの尤度は, そのモデルの定める確率分布からこのようなデータが得られる確率(あるいは確率密度)として定義される.
エントロピーとモデルの尤度(<講座>物理学周辺の確率統計)
赤池 弘次
https://t.co/8mJZk2ktpe
#統計 数学が苦にならない人や統計力学に素養のある人は後者の
https://t.co/foCDt7FZBK
エントロピーとモデルの尤度(<講座>物理学周辺の確率統計)
赤池弘次 1980
を先に読んでおくと良いと思います。非常に易しく書かれています。
#統計 赤池さん本人による1980年の解説を以下の場所で読めます。かなり分かり易いです！お勧め！
https://t.co/rVEPngIsM6
統計的推論のパラダイムの変遷について
https://t.co/foCDt7FZBK
エントロピーとモデルの尤度(<講座>物理学周辺の確率統計)
#統計 赤池弘次さんの1980年の論説がわかりやすい。
https://t.co/foCDt7FZBK
エントロピーとモデルの尤度(<講座>物理学周辺の確率統計)
https://t.co/rVEPngIsM6
統計的推論のパラダイムの変遷について
無用な【お墨付き】を求めるために杜撰な主義を持ち出すニセ統計学はそろそろ廃棄されるべき。
AIC (an information criterion(笑))については赤池さん本人により解説が名調子でわかり易いです。数学抜きで理解不可能な話になっていることにも注意。
https://t.co/foCDt7FZBK
エントロピーとモデルの尤度
赤池弘次
1980
これを読めば対数尤度の概念の統計力学的な位置付けもわかります。 https://t.co/HsIWElgiwL https://t.co/DCyW9m6O1M
#統計 Sanovの定理については、赤池弘次さんによる解説(添付画像)
https://t.co/foCDt7FZBK
または私による詳しい解説
https://t.co/wSDIgaOAqf
を参照せよ。
* 大数の法則
* 中心極限定理
* Sanovの定理
は統計学における確率論の「三種の神器」である。基本中の基本！ https://t.co/y04ewnwLYv
なるほど、渡辺ベイズで扱われている汎化誤差やAICはボルツマンの熱力学エントロピーの概念から産まれたんですね。物理学的解釈を統計に導入した功績は素晴らしいですね。面白い。
ただ、これが統計学が扱うすべての問題に対応するのか、は結構ふわっとしている気がするな。
https://t.co/vtpPrPLKp8
#統計 その問題に突破口を開いたのが、赤池弘次さん。1980年の論説↓
https://t.co/rVEPngIsM6
https://t.co/foCDt7FZBK
尤度と汎化誤差とKL情報量の関係に気付いて理論を発展させたのは赤池さんです。
尤度と汎化誤差の関係という尤度の数学的性質は重要かつ平易で分かり易い(大数の法則一発！)。
#統計 たぶん、
lim_{n→∞}(対数尤度函数)/n = (KL情報量) + (定数)
は赤池弘次さんに由来する見方で、最尤法の開発者のFisherさんは分かっていなかったと思われます↓
https://t.co/rVEPngIsM6
統計的推論のパラダイムの変遷について
https://t.co/foCDt7FZBK
エントロピーとモデルの尤度 https://t.co/88N4AX43AV
#統計 AICに興味がある人はツイッターの検索で最近の私の解説を読んだり、赤池弘次さん自身による1980年の論説
https://t.co/foCDt7FZBK
エントロピーとモデルの尤度
日本物理学会誌35巻(1980)7号
を読んでおくと良いと思います。
赤池さんは実質的にSanovの定理を使って説明しています。 https://t.co/dl4KrNdD3h
#統計 Kullback-Leibler情報量入門としても、赤池弘次さんの1980年の論説は最良のものだと思う。
https://t.co/foCDt7FZBK
エントロピーとモデルの尤度
日本物理学会誌35巻(1980)7号
これに限らず、日本物理学会誌に載っている解説は勉強になるものが多い。学生時代には図書館でよく読んでいた。 https://t.co/xEOuTF1Srk
#統計 KL情報量の日本語版ウィキペディアはSanovの定理に言及しておらず、非常によろしくない。
統計学での使い方は赤池弘次さんの1980年の論説
https://t.co/foCDt7FZBK
エントロピーとモデルの尤度
を見れば分かります。そのp.610の右側で解説されていることが実質的にSanovの定理です。 https://t.co/K8ZG2Q3pom https://t.co/R348hTEr2h
#統計 論説の読み方のヒント
Kullback-Leibler情報量入門では「より一般的なdivergenceの特別な場合」というスタイルの不鮮明な解説を読むよりも、赤池弘次さんの論説
https://t.co/foCDt7FZBK
エントロピーとモデルの尤度
のp.610の右半分のスタイルで理解しておくのが良いと思います。続く
#統計 ごめんなさい。リンクをはるのに失敗していた。
尤度について理解したい人が読むと楽しめる赤池弘次さんによる1980年の論説は以下で読めます。
https://t.co/rVEPngIsM6
統計的推論のパラダイムの変遷について
https://t.co/foCDt7FZBK
エントロピーとモデルの尤度
添付画像は後者より
#統計 尤度がどのような指標であるかについては
1980年の赤池弘次さんによる尤度概念の解説が面白く読めるのでおすすめです。
https://t.co/rVEPngIsM6
統計的推論のパラダイムの変遷について
https://t.co/yn24y7eh08
エントロピーとモデルの尤度 https://t.co/aYmzirnOCf
#統計 1980年の赤池弘次さんによる尤度概念の解説を読めば、実際に尤度の概念について一生のあいだ誤解し続けた人達が20世紀に沢山いたであろうことを想像できると思います。
https://t.co/rVEPngIsM6
統計的推論のパラダイムの変遷について
https://t.co/foCDt7FZBK
エントロピーとモデルの尤度
#統計 赤池弘次さんの1980年の2つの論説はこれ↓
https://t.co/rVEPngIsM6
統計的推論のパラダイムの変遷について
https://t.co/foCDt7FZBK
エントロピーとモデルの尤度
数え切れないくらい繰り返し、みんなに勧めて来た。
以下ではこれらを読んでいることを前提とします。続く
#統計 「黒木とか言う嫌な奴に絡まれるのが嫌だな」と思っている人は赤池弘次さんによる1980年の2つの論説を読んで理解しておけば心配せずに済むようになります(笑)
https://t.co/rVEPngIsM6
統計的推論のパラダイムの変遷について
https://t.co/foCDt7FZBK
エントロピーとモデルの尤度
#統計 それをある条件のもとで最尤法を使った場合に可能にしたのが、赤池弘次さんです。
AICと書かれ、赤池さん自身は【an information criterion の略記】だと言っている(笑)。
赤池さんが書いたものはこういう点でも面白いのでおすすめ。
https://t.co/foCDt7FZBK https://t.co/VcQ4uXyZuT
#統計 KL情報量の-1倍を相対エントロピーと呼ぶ。
対数尤度(尤度の対数)の極限が相対エントロピーになることが、尤度の理解において決定的に重要なことは赤池弘次さんが指摘し、AICはその成果の1つである。
1980年の論説↓
https://t.co/foCDt7FZBK
エントロピーとモデルの尤度
赤池弘次 https://t.co/QCWq3e2vQN
黒木玄さんが何度もツイートされているので大変恐縮ですが、本当に為になるので私も紹介させていただきます。
エントロピーとモデルの尤度 赤池弘次
https://t.co/SNIFonWQId
#統計 赤池弘次さんの1980年の2つの論説もお勧め
(前世紀の黒歴史を潰す成果とみなされる)
https://t.co/rVEPngIsM6
統計的推論のパラダイムの変遷について
https://t.co/foCDt7FZBK
エントロピーとモデルの尤度
#統計 赤池弘次さんは
https://t.co/foCDt7FZBK
エントロピーとモデルの尤度
赤池 弘次
1980
のp.610の右半分でSanovの定理に当たることをSanovの定理と言わずにエントロピーの言葉で説明しています。
KL情報量とFisher情報量の関係もその次のページで説明されている。 https://t.co/K1emLPsoI7
#統計 件の赤池論説(1980)への直接リンク
https://t.co/YRhnSOzAll
統計的推論のパラダイムの変遷について
赤池弘次さんの次の論説(1980)も読み易いです。
https://t.co/0XWLnhwq6V
エントロピーとモデルの尤度
#統計 赤池弘次さん本人によれば、AICのAは "an" を意味します。AIC = an information criterion なのだそうです。証拠は
https://t.co/foCDt7FZBK
エントロピーとモデルの尤度(<講座>物理学周辺の確率統計)
赤池 弘次
1980
のp.612にある(添付画像)
https://t.co/txZd9Krnun https://t.co/s8B6BPE0Gy
#統計 添付画像は p.85より。pp.83-84に詳しい計算が書いてある。
https://t.co/wSDIgaOAqf
の第1節
https://t.co/foCDt7FZBK
p.610の右側
と同じ計算。 https://t.co/y1JiW3wp34
#統計 「尤度」と不適切な名前で呼ばれる量を理解することは難しいです。赤池弘次さんの
https://t.co/rVEPngIsM6
によれば、最尤法をひろめたFisherさんは尤度について理解していなかった。
#統計 「未知の真の分布が未知であり続けていても、推定結果の妥当性について何が言えるのか？」という問題への突破口は1970年代に赤池弘次さんが開いたのだと私は認識しています。
1980年の以下の2つの論説に赤池さん自身による解説があります。
https://t.co/rVEPngIsM6
https://t.co/foCDt7FZBK
#統計 統計学の文脈でのKullback-Leibler情報量の解説でSanovの定理に触れていないものを読んで理解できなかった人は、上で紹介した赤池弘次さんによる解説の方を読むと理解が進むと思う。
https://t.co/foCDt7FZBK
エントロピーとモデルの尤度(<講座>物理学周辺の確率統計)
赤池 弘次
1980
#統計 Sanovの定理の易しい場合の解説は
https://t.co/wSDIgaOAqf
Kullback-Leibler情報量とSanovの定理
にあります。赤池弘次さんも
https://t.co/foCDt7FZBK
で易しい場合のSanovの定理を解説しています(添付画像)。
Sanovの定理による情報量規準の解説はこのように「由緒正しいもの」です。 https://t.co/ohdPJczimn
#統計 再紹介、再リンク
赤池弘次さんの1980年の論説は以下のリンク先で読めます。
https://t.co/weTcekZdjG
統計的推論のパラダイムの変遷について
https://t.co/foCDt7FZBK
エントロピーとモデルの尤度(<講座>物理学周辺の確率統計
どちらも非常に面白いです。
@genkuroki 「エントロピーとモデルの尤度」、リンク先に誤りがございませんでしょうか（"www"が抜けているようです。即ち、以下が正しいように思われます）。
https://t.co/JZqwdze6F9
#統計 その辺をおさえた上での文献紹介。
以下の2つの赤池弘次さんの40年前(1980)の論説は今でも読む価値があります。
https://t.co/weTcekZdjG
統計的推論のパラダイムの変遷について
https://t.co/yn24y7eh08
エントロピーとモデルの尤度(<講座>物理学周辺の確率統計) https://t.co/uIwyzQK5Lp
#統計 尤度の概念については最尤法の開発者のFisherさん自身もよく分かっていなかった。赤池弘次さんの1980年の2つの論説は非常によいです。
https://t.co/weTcekZdjG
統計的推論のパラダイムの変遷について
https://t.co/foCDt7FZBK
エントロピーとモデルの尤度(<講座>物理学周辺の確率統計)
#統計 赤池弘次さんの1980年の論説や渡辺澄夫さんの講義のスライドは見る価値があります。
赤池弘次さんの1980年の論説↓
https://t.co/weTcekZdjG
統計的推論のパラダイムの変遷について
赤池 弘次
https://t.co/yn24y7eh08
エントロピーとモデルの尤度
赤池 弘次
https://t.co/yk5HEGjffR
#統計
https://t.co/foCDt7FZBK
エントロピーとモデルの尤度(<講座>物理学周辺の確率統計)
赤池 弘次
1980
#統計 赤池弘次さん自身によるKullback-Leibler情報量とそのSanovの定理と使い方に関する解説が
https://t.co/hP2yrrP150
エントロピーとモデルの尤度
赤池 弘次
1980
にある。(相対)エントロピーの-1倍(ネゲントロピー)がKL情報量に一致。Sanovの定理にあたることはp.610の右半分にある。
#統計 1980年の赤池弘次さんの2つの論説
https://t.co/weTcekZdjG
統計的推論のパラダイムの変遷について
赤池 弘次
1980
https://t.co/foCDt7FZBK
エントロピーとモデルの尤度
赤池 弘次
1980
赤池さんによればFisherさんは尤度(ゆうど)について十分に理解していなかった。
#統計 赤池弘次さんが、フィッシャーとかサヴェジなどを滅多斬りにした論説を発表したのが1980年。
https://t.co/YRhnSOzAll
さらに
https://t.co/0XWLnhwq6V
も参照。
ポイントは対数尤度の解釈。
尤度函数全体が持っている情報をうまく利用する数学的枠組みがベイズ統計。
@bagel_bicycle 既出かもだが
https://t.co/hEyEMRXOB3
https://t.co/26BEZLthIR
赤池は統計学の哲学にも示唆与えてて真の統計学者という感じで良いよね
#数楽 AICでも有名な赤池さんの論説
https://t.co/foCDt7FZBK
エントロピーとモデルの尤度
赤池 弘次
1980
では
log n!=n log n -n +(1/2)log n +log√(2π) +O(1/n)
の右辺の最初の2項だけを使う近似を行なっている。
これを理解できないと対数尤度のような統計学での基本概念を理解できない。 https://t.co/Cfk2eWZzPt
https://t.co/UM87qHPH0r
これもっと早く知りたかった
赤池弘次さんの1980年の2つの論説を読む価値は極めて高いと思う。
https://t.co/weTcekZdjG
統計的推論のパラダイムの変遷について
赤池 弘次
1980
https://t.co/foCDt7FZBK
エントロピーとモデルの尤度
赤池 弘次
1980
後者にはAICは「an information criterionの略記」だと書いてあります(笑)
#統計 赤池さんの1980年の論説は次の場所で読めます。
https://t.co/YRhnSOzAll
統計的推論のパラダイムの変遷について(1980)
赤池弘次
こういう話を学生時代に聴きたかった。あと次も面白い。
https://t.co/0XWLnhwq6V
#統計 大数の法則の次くらいに基礎的な定理であるKullback-Leibler情報量のSanovの定理。その定理の有限集合上の確率分布のケースはスターリングの公式を知っていると瞬時に証明できる。AICなどで有名な赤池弘次さんもそういう解説をしています。
https://t.co/foCDt7FZBK
のp.610の右段の全体
#統計 話が変わりますが、20世紀の統計に関する考え方については、赤池弘次さんの次の論説が非常に参考になりました。
https://t.co/YRhnSOzAll
統計的推論のパラダイムの変遷について(1980)
赤池弘次
こういう話を学生時代に聴きたかった。あと次も面白い。
https://t.co/0XWLnhwq6V
リンク切れしていたので再リンク
次の２つは必読。
https://t.co/0XWLnhwq6V
エントロピーとモデルの尤度
赤池弘次
https://t.co/YRhnSOzAll
統計的推論のパラダイムの変遷について
赤池弘次
前者には
この統計量は AIC (an information criterion) と呼ばれ
とある
#統計 赤池弘次さんの論説
https://t.co/weTcekZdjG
統計的推論のパラダイムの変遷について
https://t.co/Nle5j9of9A
エントロピーとモデルの尤度
「尤度ってどうしてもっともらしさなの？」「客観確率 vs. 主観確率という対立図式はおかしいよね？」のような疑問を持つ人達には特におすすめ。
ネタ再掲 #統計
https://t.co/Nle5j9of9A
エントロピーとモデルの尤度
赤池 弘次
で赤池さんは
AIC (an information criterion の略記)
と書いていて、それに編集委員会が脚注を付けている(笑)。 https://t.co/e6v49w9jlC
https://t.co/weTcekZdjG
もおすすめ。
#統計 赤池弘次さんの論説
https://t.co/weTcekZdjG
統計的推論のパラダイムの変遷について
https://t.co/Nle5j9of9A
エントロピーとモデルの尤度
「尤度ってどうしてもっともらしさなの？」「客観確率 vs. 主観確率という対立図式はおかしいよね？」のような疑問を持つ人達には特におすすめ。
#統計
https://t.co/Nle5j9FQya
エントロピーとモデルの尤度
赤池 弘次
には他にも色々面白い部分があって、赤池さんは
AIC (an information criterion)
と書いていて、それに編集委員会が脚注を付けています(笑)。 https://t.co/e6v49w9jlC
#統計 添付画像は赤池弘次さんによるKullback-Leibler情報量に関するSanovの定理の簡潔な解説。
https://t.co/Nle5j9of9A より
「Sanovの定理」とか呼ぶと何か難しい結果のように誤解してしまうかもしれないが、実際には多項分布の確率の式にスターリングの公式を代入しただけの結果である。 https://t.co/4AbNKDjPNC
#統計 「頻度主義 vs. ベイズ主義」という対立図式でベイズ統計に関する講義をしてしまった人が、赤池さんの論説を読んだら、顔が真っ青になるんじゃないかと思いました。
https://t.co/2yI8DNOy7N
統計的推論のパラダイムの変遷について
https://t.co/Nle5j9of9A
エントロピーとモデルの尤度
#統計
「統計的推論のパラダイムの変遷について」
https://t.co/2yI8DNOy7N
を読んで疑問が残った人はもう一つの
「エントロピーとモデルの尤度」
https://t.co/Nle5j9of9A
も読むと得るところが多いと思います。そこでのエントロピーはKL情報量のことだと思って構いません。
#統計 11/5にGoogleのロゴが赤池弘次さんになっていたので、赤池さんが書いたものをググって読んでみました。次の2つ(どちらも1980年の論説)：
https://t.co/2yI8DNOy7N
統計的推論のパラダイムの変遷について
https://t.co/Nle5j9of9A
エントロピーとモデルの尤度
エントロピーとモデルの尤度(物理学周辺の確率統計): エントロピーとモデルの尤度(物理学周辺の確率統計) 1) 赤池弘次:数理科学 No. 153 (1976) 3. 2) R.A. Fisher:… https://t.co/N0A46912P7 [fav]
エントロピーとモデルの尤度(<講座>物理学周辺の確率統計) https://t.co/WVKWqjy9kM
「エントロピーを基本的な概念として採用することにより，これまでの統計学上の概念的混乱の多くが消滅すると同時に，歴史的に最も著しい統計学上の貢献が常にエントロピーに直接関係する形でなされてきていることが明らかになる。」赤池弘次
https://t.co/yJ0sNaKtCs https://t.co/SJVD47pwzW
@genkuroki 黒木玄先生、リプライ有難うございます。赤池弘次先生のこの論文を読むと、シャノン・エントロピーは対数尤度の期待値として解釈できると書いてありますね。汎関数微分によって尤度を最大化する確率の関数形を求めていると解釈できないでしょうか。
https://t.co/yJ0sNaKtCs https://t.co/EGAm623Rug
収集済み URL リスト
- http://jstage.jst.go.jp/article/butsuri1946/35/7/35_7_608/_article/-char/ja/ (1)
- https://jstage.jst.go.jp/article/butsuri1946/35/7/35_7_608/_article/-char/ja/ (24)
- https://www.jstage.jst.go.jp/article/butsuri1946/35/7/35_7_608/_article/-char/ja/ (164)
- https://www.jstage.jst.go.jp/article/butsuri1946/35/7/35_7_608/_article/references/-char/ja/ (130)
- https://www.jstage.jst.go.jp/article/butsuri1946/35/7/35_7_608/_pdf (1)
- https://www.jstage.jst.go.jp/article/butsuri1946/35/7/35_7_608/_pdf/-char/ja (90)