著者

築地 毅 鈴木 晴也 柴原 一友 藤本 浩司 池田 龍司 尾﨑 和基 森田 克明 松原 敬信

雑誌

研究報告自然言語処理(NL) (ISSN:21888779)

巻号頁・発行日

vol.2020-NL-244, no.4, pp.1-7, 2020-06-26

---

本稿では,BERT を利用した教師無しデータへの適用について論ずる.近年ディープラーニングの技術が確立し始めており,特に画像認識分野において,既存の技術では困難だった特徴の自動抽出を実現したことにより,非常に高い精度を上げるようになってきている.自然言語処理においてもディープラーニングの研究は広く行われているが,近年 Google により発表された BERT の功績は大きく,教師あり学習のタスクに対して,既存の成果を大きく上回る成果を上げている.本稿では,教師あり学習の精度を大きく高めた BERT を教師無しデータに適用することで,既存手法の性能向上につながる可能性があるという仮説を主張する.本稿では,特許文書を対象に,教師あり学習を行わずに特許の類似性を図る実験を行った.実験の結果,人手で付与した特許分類フラグに対し 61.9 %の正解率となり,BERT を活用することで教師データを与えずとも,特許の類似度を表現できることを示した.