3 0 0 0 OA 人工言語による事前学習を用いた言語間転移可能な知識の分析
- 著者
- 李 凌寒 鶴岡 慶雅
- 出版者
- 一般社団法人 言語処理学会
- 雑誌
- 自然言語処理 (ISSN:13407619)
- 巻号頁・発行日
- vol.30, no.2, pp.664-688, 2023 (Released:2023-06-15)
- 参考文献数
- 41
本論文では,ニューラルネットエンコーダが学習する知識のうち,どのような構造的知識が自然言語のタスクを解くのに転移可能かを調査する.提案するアプローチでは,自然言語の構造を模したいくつかの「人工言語」を用いてエンコーダを訓練し,そのエンコーダの自然言語の下流タスクにおける性能を評価することで,事前学習データに含まれている構造的知識の転移可能性を計測する.実験の結果,転移可能なエンコーダを獲得するにあたって,事前学習のデータ系列中において,統計的依存関係が重要であること,係り受け関係を持つ際に入れ子構造が有用であることなどが明らかとなった.こうした結果は,エンコーダが転移可能な抽象的な知識として,位置を考慮したトークンの文脈依存性があることを示唆している.
2 0 0 0 OA 言語の背後にある普遍性:人工言語とエンティティの研究を通じて
- 著者
- 李 凌寒
- 出版者
- 一般社団法人 言語処理学会
- 雑誌
- 自然言語処理 (ISSN:13407619)
- 巻号頁・発行日
- vol.29, no.3, pp.997-1001, 2022 (Released:2022-09-15)
- 参考文献数
- 5