著者
尾崎 嘉彦 野村 将寛 大西 正輝
出版者
The Institute of Electronics, Information and Communication Engineers
雑誌
電子情報通信学会論文誌 D (ISSN:18804535)
巻号頁・発行日
vol.J103-D, no.9, pp.615-631, 2020-09-01

ハイパパラメータ最適化は,機械学習モデルのチューニングを自動化するための実用的な技術である.本論文は,ハイパパラメータ最適化に関心のある周辺分野の研究者及び,それを実務に活用しようとするエンジニアに向けた,ハイパパラメータ最適化手法の実用に焦点を当てたサーベイである.本サーベイの目的は,ハイパパラメータ最適化手法を概説し,各手法のもつ特徴や適切な使い分けについて整理し,見通しの良い形で読者に知識を共有することである.本サーベイは,序章と終章を除いて四つの節から構成される.まずはじめに,2. においてハイパパラメータ最適化の基礎知識について解説する.その後,3. でハイパパラメータ最適化において標準的であるブラックボックス最適化,4. で近年のトレンドであるグレーボックス最適化について順に解説する.最後に,5. では逐次評価回数の上限値,並列計算リソース,ハイパパラメータの種類の観点から,状況ごとに個別に議論を行い,適切な最適化手法選択のガイドラインを与える.