著者

朱 中元 中山 英樹

出版者

一般社団法人 人工知能学会

雑誌

人工知能学会全国大会論文集 第31回 (2017) (ISSN:27587347)

巻号頁・発行日

pp.2O42, 2017 (Released:2018-07-30)

---

ニューラル機械翻訳モデルにアテンションが重要な役割を果たしている。しかし、アテンションモデルの計算は全ての位置について行われるためで、計算複雑さを大幅に上昇した。本研究では、冗長なアテンション計算を削減できる新しいメカニズムを提案する。提案モデルは、位置に基づくペナルティを計算し、大きくペナルティされた位置に対するスコアの計算はスキップされる。実験で、計算を平均50%以上削減できることを確認した。