- 著者
-
井手 秀徳
栗田 多喜夫
- 出版者
- The Institute of Electronics, Information and Communication Engineers
- 雑誌
- 電子情報通信学会論文誌 D (ISSN:18804535)
- 巻号頁・発行日
- vol.J101-D, no.8, pp.1110-1119, 2018-08-01
ReLU活性化関数は,その微分が消失しないことから,最急降下法に基づくパラメータの学習が効果的に行えることが知られており,Convolutional Neural Network (CNN)でも良く利用されている.しかし,学習が進むとReLUの出力が必要以上に大きくなってしまう傾向がある.ある層のあるニューロンの活性化関数の出力が大きくなると,それ以降の層に対してバイアスとして働き,Networkに悪影響を与えることが知られている.このことから,活性化関数の出力は平均0に近づけると汎化性能が向上することがわかっている.有名なものでは,L1正則化などの重みに対する正則化やBatch Normalization,ELUなどの活性化関数が知られている.本研究では,それらの代わりにReLU活性化関数の入力に対するスパース正則化を用いる手法を提案する.活性化関数の入力に対するスパース正則化は,学習の過程でReLU活性化関数の入力を0に近づける効果をもつ.これにより,ReLU活性化関数の欠点をある程度抑制することができ,特徴表現をスパースにすることができる.