著者

竹元 義美 福島 俊一

雑誌

情報処理学会研究報告自然言語処理(NL)

巻号頁・発行日

vol.1994, no.77(1994-NL-103), pp.105-112, 1994-09-15

---

日本語文章の口語的表現に対応した形態素解析手法を提案し、その評価結果を報告する。広い分野のテキスト処理を想定した場合に口語的表現の形態素解析は重要であるものの、その精度は十分とは言えなかった。本稿では、口語的表現を正しく形態素解析するために2つの手法を示す。1つは、口語特有の言い回しを辞書登録すること、もう1つは、通常は平仮名表記する語を意図的に片仮名表記するなど、表記を変えた強調表現を通常の表記に直して辞書検索することである(口語置換検索処理)。これらの手法を実現した結果、口語的表現を多く含むテキストの文節区切り精度が1.8%向上し、テキストのタイプによらず安定した高い精度を得ることができた。辞書登録では、話し言葉特有の語の登録によって、文節区切りに失敗していた話し言葉の88%を正しく解析できた。口語置換検索処理では、形態素解析に失敗していた意図的な片仮名表記の75%、強調表現で特殊文字を含む単語の79%を救済できた。

著者

竹元 義美 福島 俊一

出版者

一般社団法人情報処理学会

雑誌

情報処理学会研究報告自然言語処理(NL)

巻号頁・発行日

vol.1994, no.77, pp.105-112, 1994-09-15

被引用文献数

2

---

日本語文章の口語的表現に対応した形態素解析手法を提案し、その評価結果を報告する。広い分野のテキスト処理を想定した場合に口語的表現の形態素解析は重要であるものの、その精度は十分とは言えなかった。本稿では、口語的表現を正しく形態素解析するために2つの手法を示す。1つは、口語特有の言い回しを辞書登録すること、もう1つは、通常は平仮名表記する語を意図的に片仮名表記するなど、表記を変えた強調表現を通常の表記に直して辞書検索することである(口語置換検索処理)。これらの手法を実現した結果、口語的表現を多く含むテキストの文節区切り精度が1.8%向上し、テキストのタイプによらず安定した高い精度を得ることができた。辞書登録では、話し言葉特有の語の登録によって、文節区切りに失敗していた話し言葉の88%を正しく解析できた。口語置換検索処理では、形態素解析に失敗していた意図的な片仮名表記の75%、強調表現で特殊文字を含む単語の79%を救済できた。This paper presents a new morphological analysis method for colloquial Japanese text, and describes its evaluation results. To enlarge application for natural language processing, it is necessary to deal with not only written language as before, but also colloquial language. This paper shows two techniques as the new method. One is to enter words peculiar to spoken language in dictionaries. The other is to replace words written in Katakana or special characters with usual writing and search through dictionaries for them. The two techniques can improve Bunsetsu-segmentation accuracy by 1.8% over a conventional method for text including colloquial expressions, and also accomplish stable accuracy for various types of text. The first technique can remove 88% of Bunsetsu-segmentation failures caused by spoken words. The second technique can remove 75% of failures caused by words written in Katakana expressly for emphasis, and 79% of failures caused by words written in special characters expressly for emphasis.

著者

山田 洋志 竹元 義美

雑誌

全国大会講演論文集

巻号頁・発行日

vol.52, pp.281-282, 1996-03-06

---

コンピュータ上で作成される文章の量は年々増加している。文章の作り方も,以前の推敲済みの文章の清書用としての使われ方から,下書き・推敲段階を含めた使い方に変わってきている。それに伴い,文章の誤りを自動的に見つけ出し,あるいは,文章の読みやすさについて助言する校正支援システムの有用性も増している。現在,多くの校正支援システムでは文書中の誤りを検出するために,大量の校正知識(用例や誤り例)を利用している。こういった大量の知識の収集や選別には,大きなコストがかかる。しかし,ユーザや文書内容などによって対象を限定すれば,はるかに少ないデータで効果をあげられるはずである。われわれは,個人あるいは共同作業をするグループの文書作成支援について研究を行っており,その一環として,文字の抜け,カタカナ語表記や同音語選択の誤りなどの表層の誤り検出を目的とした校正支援機能の開発を行っている。本報告では,誤り検出のために,入力されたテキストと過去に作成されたテキストとを比較し,差分が小さい場合に検出対象とする方式について述べる。

著者

竹元 義美 福島 俊一 山田 洋志

出版者

一般社団法人情報処理学会

雑誌

情報処理学会論文誌 (ISSN:18827764)

巻号頁・発行日

vol.42, no.6, pp.1580-1591, 2001-06-15

被引用文献数

5

---

日本語テキストからの情報抽出の基盤技術として,組織名・人名・地名・固有物名・日付・時刻・金額・割合表現を高精度で分類抽出する,固有表現抽出システムを開発した.本システムは,形態素解析を利用して入力文を単語分割し,固有表現辞書とパターンマッチルールとを適用することでテキスト中の固有表現を判定するというベーシックなアプローチをとっている.辞書の充実とルールの整備を基本方針として抽出精度の改善を進め,辞書の増強と辞書情報の詳細化,人手によるルール作成を行った.また,辞書を充実させても生じる課題として,複合語の一部となる固有名詞判定と未知語・多義語の固有名詞判定とに工夫を加えた.前者は,複合語を分割して複合語中の固有名詞を判定することにより,固有名詞の抽出洩れを救済する.後者は,ルールで判定した固有名詞で信頼度の高いものをもとに,未知語・多義語となった固有名詞の省略表現を判定する.IREX-NEコーパス(トピックを限定しない一般的な内容の記事)を用いた精度評価を実施し,F値で83.86という精度を得た.また,導入したルール・処理の効果も分析し,有効性を確認した.We have developed a Named Entity extraction system from Japanese text.``Named Entities'', i.e.,proper names and temporal/numerical expressions are considered as the essential elements for extracting information.The system employs a conventional method that it divides input Japanese text into words and parts of speech by morphological analysis and extracts each Named Entity by referencing dictionaries and applying pattern-matching rules.In order to improve the system's accuracy,we aim to build a large-scale and high-quality dictionary and rules.Both the dictionary and rules have been produced manually,because we believe that a hand-made dictionary or rules have better quality than those that are made automatically.We also focused our attention on two points for cases that cannot be covered by the dictionary.One is to extract proper names from compound words,and the other is to designate unknown or vague words as proper names.For the first point, our system divides compound words and determines proper names within them.Thus, omissions of proper names in compound words can be eliminated.For the second point, our system recognizes abbreviations of proper names,which tend to be unknown or vague, using reliable proper names.For the IREX-NE corpus, our system has accomplished 83.86 as F-measure score.