著者

藤井 巧朗 濱上 知樹

出版者

情報処理学会

雑誌

情報処理学会論文誌 (ISSN:18827764)

巻号頁・発行日

vol.64, no.12, pp.1668-1677, 2023-12-15

---

機械学習システムは訓練データとテストデータが同一の分布に従うものと仮定した状況下で動作する場合が多い.しかし,それらの分布は異なることが多く,ドメインシフトにより実用時に性能が低下してしまうという問題がある.本論文では,自然言語処理分野におけるドメインシフトの課題を解決するために,事前学習済み言語モデル(PLM)のFine-Tuningプロセスに着目した教師なしドメイン適応(UDA)に取り組んだ.本論文はPLMのFine-Tuningプロセスにおいて,正規分布に従う低次元の特徴量を獲得すると同時にノイズを付与するGaussian Layerを提案し,タスクヘッドに適用することでドメインシフトを軽減する.実験結果より,Gaussian Layerは特にソース・ターゲットドメイン距離が遠いより困難な設定で優位であることが確認された.また,分布整合分析より,Gaussian Layerは従来のUDA手法と比較してソース・ターゲットドメイン分布を整合することが確認でき,ドメイン不変な表現を獲得できることを示した.