著者

今村 賢治 隅田 英一郎

雑誌

研究報告自然言語処理(NL) (ISSN:21888779)

巻号頁・発行日

vol.2019-NL-241, no.1, pp.1-8, 2019-08-22

---

本稿では,事前訓練済みの BERT (Bidirectional Encoder Representations from Transformer) モデルを Transformer ベースのニューラル機械翻訳 (NMT) に適用する.単言語のタスクと異なり,NMT の場合,BERT のモデルパラメータ (訓練済み) に比べ,デコーダー (未学習) のパラメータ数が多い.そこで,まず BERT エンコーダーのパラメータを固定して,未学習パラメータのみを訓練し,その後,全体を微調整する 2 段階最適化を行う.実験では,直接微調整したときには BLEU スコアが極めて低くなったのに対して,2 段階最適化では訓練が成功した.その結果,Transformer の基本モデルや,モデル構造が同じ事前訓練なしの Transformer に比べても BLEU スコアが向上することが確認された.また,少資源設定で,より効果が高いことが確認された.