著者

鈴木 潤 永田 昌明

出版者

一般社団法人情報処理学会

雑誌

情報処理学会研究報告. SLP, 音声言語情報処理

巻号頁・発行日

vol.2015, no.16, pp.1-9, 2015-05-18

---

SkipGram, GloVe といった対数双線形言語モデルに属する単語分散表現のモデルは,これまで確率的勾配法 (SGD) やその拡張である AdaGrad といった勾配に基づくオンライン学習アルゴリズムを用いてパラメタ推定を行ってきた.しかし,対数双線形言語モデルと勾配に基づくパラメタ推定法の組み合わせは,解の収束性や再現性といった観点で,必ずしも適切な選択とは言えない.本稿では,より信頼性の高い単語分散表現を獲得する枠組みを構築することを目的として,対数双線形言語モデルが持つ性質に対応したパラメタ推定法を提案する.