- 著者
- 沢田 拓也 西尾 和恭 石澤 由宇輔 須子 統太
- 雑誌
- 第82回全国大会講演論文集
- 巻号頁・発行日
- vol.2020, no.1, pp.559-560, 2020-02-20
アンケート調査は無作為抽出を前提としている。しかし実際に無作為抽出を行うことは難しく、選択バイアスによって集計結果の信頼性が低下することが多々ある。選択バイアスに対する補正手法は従来よりいくつか提案されているが、どのような調査データにも対応できる万能な手法はなく、対象となるデータによって有効な補正手法が異なることが知られている。そこで本研究では、ある調査データに対してどの補正手法を用いるのが最適かを選択する手法について検討する。
1 0 0 0 OA 状態遷移モデルにおけるベイズ予測アルゴリズムに関する研究
1 0 0 0 外れ値データの発生を含む回帰モデルに対するベイズ予測アルゴリズム
- 著者
- 須子 統太 松嶋 敏泰 平澤 茂一
- 出版者
- 情報処理学会
- 雑誌
- 情報処理学会論文誌数理モデル化と応用(TOM) (ISSN:18827780)
- 巻号頁・発行日
- vol.1, no.1, pp.17-26, 2008-09-26
統計解析を行う際,得られたデータの中に外れ値が含まれることが多々ある.外れ値は少量であっても解析結果に大きく影響を与えることがあるため,従来から外れ値を含むデータに対する統計解析手法が数多く研究されている.従来,Boxらにより線形回帰モデルに対し混合分布を用いて外れ値の発生をモデル化する研究が行われている.同様のモデルに対し様々な研究が行われているが,いずれも外れ値の検出やパラメータの推定を目的としている.そこで本研究では,外れ値データの発生を含む回帰モデルに対する予測法について扱う.まず,このモデルに対しベイズ基準のもとで最適な予測法を示す.しかし,この方法はデータ数に対し指数的に計算量が増大してしまう.そこで,EMアルゴリズムを用いて計算量を削減した近似アルゴリズムを提案し,シミュレーションにより有効性を検証する.Outliers are often included in statistical data. A statistical analysis result is influenced from outliers. Therefore, there are many researches for a statistical analysis of data with outliers. Box modeled outliers using mixture distribution. There are many researches that aim parameter estimation or outlier detection about this model. In this paper, we treat prediction problem about this model. First, we present an optimal prediction method with reference to the Bayes criterion in this model. The computational complexity of this method grows exponentially with data size. Next, we propose an approximation algorithm reducing the computational complexity using EM algorithm, and evaluate this algorithm through some simulations.
1 0 0 0 OA 古今東西の全言語を対象にしたテキストマイニングに関する研究
文字N-グラムに基づく言語独立なテキスト分類手法である蓄積手法を提案した。蓄積手法は、索引語を形成する際に文字N-グラムを使用するので、言語固有の文法構造に依存しない。テキスト文書がUnicodeで表現されてさえいれば、蓄積手法は異なる言語に対しても同一のプログラムを用いて文書を分類することができる。そこで、この蓄積手法を用いて英語と日本語と韓国語と中国語のテキスト文書の分類実験をした。その結果、英語のReuters-21578は94.5%、日本語の毎日新聞の実験データは88.5%、韓国語のハンギョレー新聞の実験データは90.2%、中国語の人民日報の実験データに対しても92.6%の精度で分類することができた。このように、蓄積手法が様々な言語で比較的高い精度で分類できることを確認した。さらに、蓄積手法の数理モデルを構築し、その数理的な意味を解明することができた。