著者

森 信介

出版者

一般社団法人情報処理学会

雑誌

情報処理学会研究報告自然言語処理(NL)

巻号頁・発行日

vol.1996, no.65, pp.101-107, 1996-07-18

---

入力文を単語に分割し品詞を付加する形態素解析は、日本語処理における基本的な処理である。日本語には単語間に明確な区切り記号がないので、この処理は入力文の全ての部分文字列に対する辞書検索を含む。本論文では、辞書を決定性オートマトンに変換し、辞書検索を高速に実現する方法を提案する。この方法は、AC法(失敗関数を持つトライ)に基づく方法と比較して、計算時間が少ないという利点と、大きい記憶域を必要とするという欠点がある。これらの方法を実装し実験を行なった結果、決定性オートマトンによる方法はAC法に基づく方法に対して、必要な記憶域は16.1倍であり、辞書検索の速度は11.7倍であった。Morphological analys is, which segments the input sentence into words and attaches parts of speech to them, is the most fundamental process of Japanese language processing. This process contains dictionary look-up of all substrings of input sentence. In this paper, we propose a method to convert the dictionary into a deterministic finite automaton and realize high-speed dictionary look-up. An advantage of our method is that it enables faster dictionary look-up and a disadvantage is that required memory space is larger than AC method-based dictionary look-up. The experimental results tells that our method requires 16.1 times as large memory space as AC method and is 11.7 times as fast as AC method in dictionary look-up.