2 0 0 0 抽出型複数文書要約における文順序を考慮した評価
- 著者
- 藤田 正悟 上垣外 英剛 船越 孝太郎 奥村 学
- 雑誌
- 研究報告自然言語処理(NL) (ISSN:21888779)
- 巻号頁・発行日
- vol.2021-NL-250, no.3, pp.1-6, 2021-09-21
抽出型要約は元の文書において重要度が高い文を抽出し要約として再構成する手法であり広く使われている.その一方,この方法では複数文書を横断して重要文を抽出し要約を構成する際に,抽出された文の順序が適切ではない場合がある.解決策として既存の文並び替えモデルを使って文並び替えを行うことが考えられるが,抽出型要約に適した文並び替えの教師データが存在せず,尚且つ抽出型要約において並び替えを考慮した評価尺度が存在しないという問題がある.そこで我々は抽出型要約に適した文並び替えの教師データの作成手法と抽出型要約を並び替える場合の評価指標を提案する.いくつかのベースラインと比較した結果,我々の評価指標は特に一貫性において人手評価と高い相関を示した.
1 0 0 0 文字列・音の類似度を考慮した深層学習に基づくテキストの正規化
- 著者
- 川村 陸 青木 竜哉 上垣外 英剛 高村 大也 奥村 学
- 出版者
- 一般社団法人 人工知能学会
- 雑誌
- 人工知能学会全国大会論文集
- 巻号頁・発行日
- vol.2020, pp.3Rin409, 2020
<p>SNS上のテキストにはスペルミス,強調文字,インターネットスラングなどの非標準的な単語が多く使用される.非標準的な単語を多く含んでいると読者が文章の意味を理解できないだけでなく,SNSを対象とした自然言語処理を行う上の障壁となる.この問題を解決するために,非標準的な単語を含む文を訂正するテキスト標準化が必要とされている.このような需要に対処するため本研究では,深層学習を用いて文字列・音の類似性をモデル化することで,より高度なテキスト標準化を目指す.提案手法では,文字列の類似性を考慮することでpepoleとpeopleの様な表記ゆれに対応することができる.さらに,音の類似性を考慮することで,yesssとyes,disとthisの様な発音に起因した文字の置き換えに対応することが可能である.評価実験では,文字列・音の類似性を考慮した提案手法が最高精度を達成することを確認した.</p>