著者

栗山 直人 鈴木 基之 伊藤 彰則 牧野 正三

出版者

一般社団法人電子情報通信学会

雑誌

電子情報通信学会技術研究報告. NLC, 言語理解とコミュニケーション (ISSN:09135685)

巻号頁・発行日

vol.106, no.442, pp.55-60, 2006-12-15

---

PLSAは言語モデルの文脈適応に一般的に用いられる手法である.このPLSAの新しい利用方法を提案する.PLSA言語モデルの語彙を「話題語」「文型語」「汎用語」の3クラスに分割し,話題語PLSAモデルと文型語PLSAモデルを別々に学習・適応した後に3つのモデルを統合する.また新聞記事とCSJ間での品詞分類の出現パターン変化に基づいた,語彙分割基準の自動生成を提案する.評価実験では話題と文型の特徴が学習データで共起していないテキストについて,従来のPLSA言語モデルと比べ15.48%のperplexity削減が得られた.

著者

栗山 直人 鈴木 基之 伊藤 彰則 牧野 正三

出版者

一般社団法人情報処理学会

雑誌

情報処理学会研究報告音声言語情報処理(SLP) (ISSN:09196072)

巻号頁・発行日

vol.2006, no.12, pp.37-42, 2006-02-04

被引用文献数

3

---

PLSAは,文章の特徴「話題」を反映した言語モデルを構築する手法である.このPLSA言語モデルの拡張を提案する.前半ではPLSA言語モデルの学習について,既存の複数の方法を比較し,EMアルゴリズムのアニーリングスケジュール最適化についての検討を行う.後半ではPLSA言語モデルを内容語モデルと機能語モデルに分割し,話題(トピック)と話し方(スタイル)を,別々に学習・適応することで従来のPLSA言語モデルよりもより柔軟な言語モデル適応を試みる.その結果学習最適化についてはβを1.0 から特定の値に向けて減少させるアニーリングスケジュールが最適という結果が得られた.内容語・機能語に分割したモデルについてはtrigramに対するPerplexityが従来のPLSA言語モデルの83.90% から82.23% へ改善した.PLSA is a method of composing language model which can reflect the global charactetistics of linguistic context as "topic". We propose more extention of PLSA language model. First, we compare the conventional learning methods of PLSA language model, and examine the optimization of EM annealing schedule. As a result, we found that the best method is to reduce β from 1.0 to some special value. Next, we compose a PLSA language model whose vocabulary set is divided, into content words and function words. Then training and adaptation to topic or style are performed separately. In the experiment, we acheived 82.23% perplexity reduction against conventional way 83.90%.