- 著者
-
宮崎 大
渡辺 澄夫
- 出版者
- 一般社団法人電子情報通信学会
- 雑誌
- 電子情報通信学会技術研究報告. IBISML, 情報論的学習理論と機械学習 (ISSN:09135685)
- 巻号頁・発行日
- vol.114, no.306, pp.213-218, 2014-11-10
LASSO (Least Absolute Shrinkage and Selection Operator)回帰は回帰問題の罰則項としてパラメータの要素の絶対値の総和を用いる方法であり,推定されるパラメータがスパースである場合に有効であると考えられている.LASSO回帰は様々な統計的推測の問題への応用が試みられているが,罰則項の大きさの決定方法については未だに十分には確立されていない.本論文ではLASSO回帰の罰則項の決定問題をベイズ法の事前分布の最適化問題であると考え,事後分布が正規分布で近似できてもできなくても予測損失の漸近的な不偏推定を与える情報量規準WAICを用いて最適化する方法を提案し,その有効性を実験的に検討し,次の4点を明らかにする.(1)LASSO回帰の平均予測損失をWAICで推定することができる.(2)真のパラメータがスパースであるとき,LASSO回帰は有効であり,平均予測損失を最小にするハイパーパラメータをWAICの最小化により推測することができる.(3)真のパラメータがスパースでないときLASSO回帰は有効ではなく,有効でないことをWAICの値を観測することで知ることができる.(4)LASSO回帰においては周辺尤度を最大にするハイパーパラメータはWAICを最小にするハイパーパラメータと同じではなく,また周辺尤度の最大化は平均予測損失の最小化と等価ではない.