著者

冨浦 洋一 青木 さやか 柴田 雅博 行野 顕正

出版者

一般社団法人 言語処理学会

雑誌

自然言語処理 = Journal of natural language processing (ISSN:13407619)

巻号頁・発行日

vol.16, no.1, pp.25-46, 2009-01-10

被引用文献数

1 1

---

本論文では,ベイズ識別と仮説検定に基づいて,英文書の作成者の母語話者/非母語話者の判別を高精度で行う手法を提案する.品詞 <I>n</I>-gram モデルを言語モデルとし,判別対象の文書の品詞列の生起確率を,母語話者言語モデルにより求めた場合と非母語話者言語モデルにより求めた場合とで比較し,判別を行う.<I>n</I> を大きくすると,母語話者/非母語話者固有の特徴をより良く扱うことが可能となり,判別精度の向上が期待できる反面,ゼロ頻度問題およびスパースネスの問題が顕在化し,品詞 <I>n</I>-gram モデルのパラメタの最尤推定値を信頼することはできくなる.そこで,提案手法では,仮説検定に基づいた方法で両言語モデルにおける生起確率の比を推定する.実験の結果,従来手法を上回る 92.5% の精度で判別できることを確認している.

著者

行野 顕正 青木 さやか 谷川 龍司 [ 他 ]

出版者

九州大学

雑誌

Research reports on information science and electrical engineering of Kyushu University (ISSN:13423819)

巻号頁・発行日

vol.11, no.2, pp.115-119, 2006-09

---

We propose using long and low-frequency part of speech (POS) strings for document separation between native English documents and non-native English documents. The long POS strings were ignored in previous works because their frequencies in training data are too small to estimate their probabilities. Meanwhile, a research of language identification showed that the long and low-frequency byte strings were useful for language identification among similar languages. There are some similarity between language identification and document separation between native English documents and non-native English documents, for example long POS strings are more peculiar to one class than short ones, though there is a difference between POS and byte. Therefore, we can expect higher accuracy by using long and low-frequency POS strings. Some experiments are described in this paper. These experiments show that the proposed method has higher accuracy than previous ones.

著者

西村 好美 飯田 真由美 仲森 理恵 青木 さやか 伊藤 愛 長嶋 美由紀 美波 あゆみ 金児 真澄 田中 滋己

出版者

日本母性衛生学会

雑誌

母性衛生 (ISSN:03881512)

巻号頁・発行日

vol.49, no.3, 2008-10

著者

冨浦 洋一 青木 さやか 柴田 雅博 行野 顕正

出版者

一般社団法人 言語処理学会

雑誌

自然言語処理 (ISSN:13407619)

巻号頁・発行日

vol.16, no.1, pp.1_25-1_46, 2009 (Released:2011-09-14)

参考文献数

17

被引用文献数

1

---

本論文では,ベイズ識別と仮説検定に基づいて,英文書の作成者の母語話者/非母語話者の判別を高精度で行う手法を提案する.品詞 n-gram モデルを言語モデルとし,判別対象の文書の品詞列の生起確率を,母語話者言語モデルにより求めた場合と非母語話者言語モデルにより求めた場合とで比較し,判別を行う.n を大きくすると,母語話者/非母語話者固有の特徴をより良く扱うことが可能となり,判別精度の向上が期待できる反面,ゼロ頻度問題およびスパースネスの問題が顕在化し,品詞 n-gram モデルのパラメタの最尤推定値を信頼することはできくなる.そこで,提案手法では,仮説検定に基づいた方法で両言語モデルにおける生起確率の比を推定する.実験の結果,従来手法を上回る 92.5% の精度で判別できることを確認している.

著者

青木 さやか 冨浦 洋一 行野 顕正 谷川 龍司

出版者

FIT(電子情報通信学会・情報処理学会)運営委員会

雑誌

情報科学技術レターズ

巻号頁・発行日

vol.5, pp.85-88, 2006-08-21