著者

大岩 秀和 松島 慎 中川 裕志

出版者

人工知能学会

雑誌

人工知能学会全国大会論文集 (ISSN:13479881)

巻号頁・発行日

vol.26, 2012

---

大規模データから省メモリかつ高速に学習を行う手法として,L1正則化付きオンライン学習アルゴリズムが複数提案されている.しかし,これらの既存手法は予測に有用であっても出現頻度の低い特徴をモデルから排除してしまう性質があった. 本研究では,低頻度かつ予測に有用な特徴を予測モデルに動的に組み込める新たな正則化手法を提案する.さらに,本手法の理論解析と実験による評価を行い,本正則化手法の有用性を示す.

著者

松島 慎

出版者

人工知能学会

雑誌

人工知能学会全国大会論文集 (ISSN:13479881)

巻号頁・発行日

vol.31, 2017

---

大量の属性(特徴)を持つデータから前もって属性選択を行うことなくL1正則化問題を解くことによって、有用な学習器とその学習器に必要な属性を同時に得る方法が機械学習の分野では広く利用されている。本発表では属性の組み合わせを考慮することで非常に多くの属性が考えられるような場合に、全ての属性を展開したデータを持つことなく学習器の訓練と必要な属性の抽出を同時に行うスキームを提案し、有用性を確認する。

著者

大岩 秀和 松島 慎 中川 裕志

出版者

情報処理学会

雑誌

研究報告数理モデル化と問題解決(MPS) (ISSN:21862583)

巻号頁・発行日

vol.2011, no.18, pp.1-6, 2011-02-28

---

オンライン学習 (逐次学習) とは,訓練データを 1 つ受け取るたびに逐次的に学習を行う手法であり,大規模な訓練集合からの学習が効率化される.L1 正則化とは,学習上不要なパラメータを零化する手法で,学習の高速化やメモリ効率の改善が期待される.2009 年に提案された FOBOS7) は上記の二手法を組み合わせた,教師あり学習のための L1 正則化付きオンライン学習手法である.しかし FOBOS では,特徴の出現回数が不均一な訓練集合では,低頻度の特徴が排除されやすい性質を持つ.FOBOS では各特徴の出現頻度やパラメータの累積更新幅とは無関係に全特徴に共通の零化を施すためである.しかし既存の L1 正則化付きオンライン学習アルゴリズムでは,この性質は分析されてこなかった.本稿では,特徴の出現回数の情報を用いた L1 正則化を導入した教師あり学習のためのオンライン学習手法 (HF-FOBOS) を提案する.さらに,HF-FOBOS は既存手法と同様の計算コスト.収束速度でパラメータの累積更新幅に応じた L1 正則化を実現する学習手法である事を確認する.また,HF-FOBOS と FOBOS に対して実問題に基づく実験を行い,出現頻度を利用した L1 正則化が精度向上へ寄与することを示した.Online learning is a method that updates parameters whenever it receives a single data. Online learning can learn efficiently from large data set. L1 regularization is used for inducing sparsity into parameters and exclude unnecessary parameters. FOBOS7) combines these two methods described above and presented a supervised online learning method with an efficient L1 regularization. FOBOS has the property the parameters of low frequency features are zeros in a heterogeneous data set. However, this property is not analyzed enough in the field of online learning. In this paper, we presented a new online supervised learning method with L1 regularization based on the number of occurrences of feature, named Heterogeneous Frequency FOBOS (HF-FOBOS). HF-FOBOS can solve optimization problems at same computational costs and convergence rate as FOBOS. Moreover, we examined the performance of our algorithms with classification tasks, and confirmed L1 regularization based on the frequency of features improve accuracy.