著者

大岩 秀和 松島 慎 中川 裕志

出版者

情報処理学会

雑誌

研究報告数理モデル化と問題解決(MPS) (ISSN:21862583)

巻号頁・発行日

vol.2011, no.18, pp.1-6, 2011-02-28

---

オンライン学習 (逐次学習) とは,訓練データを 1 つ受け取るたびに逐次的に学習を行う手法であり,大規模な訓練集合からの学習が効率化される.L1 正則化とは,学習上不要なパラメータを零化する手法で,学習の高速化やメモリ効率の改善が期待される.2009 年に提案された FOBOS7) は上記の二手法を組み合わせた,教師あり学習のための L1 正則化付きオンライン学習手法である.しかし FOBOS では,特徴の出現回数が不均一な訓練集合では,低頻度の特徴が排除されやすい性質を持つ.FOBOS では各特徴の出現頻度やパラメータの累積更新幅とは無関係に全特徴に共通の零化を施すためである.しかし既存の L1 正則化付きオンライン学習アルゴリズムでは,この性質は分析されてこなかった.本稿では,特徴の出現回数の情報を用いた L1 正則化を導入した教師あり学習のためのオンライン学習手法 (HF-FOBOS) を提案する.さらに,HF-FOBOS は既存手法と同様の計算コスト.収束速度でパラメータの累積更新幅に応じた L1 正則化を実現する学習手法である事を確認する.また,HF-FOBOS と FOBOS に対して実問題に基づく実験を行い,出現頻度を利用した L1 正則化が精度向上へ寄与することを示した.Online learning is a method that updates parameters whenever it receives a single data. Online learning can learn efficiently from large data set. L1 regularization is used for inducing sparsity into parameters and exclude unnecessary parameters. FOBOS7) combines these two methods described above and presented a supervised online learning method with an efficient L1 regularization. FOBOS has the property the parameters of low frequency features are zeros in a heterogeneous data set. However, this property is not analyzed enough in the field of online learning. In this paper, we presented a new online supervised learning method with L1 regularization based on the number of occurrences of feature, named Heterogeneous Frequency FOBOS (HF-FOBOS). HF-FOBOS can solve optimization problems at same computational costs and convergence rate as FOBOS. Moreover, we examined the performance of our algorithms with classification tasks, and confirmed L1 regularization based on the frequency of features improve accuracy.