著者
成田 悠輔 矢田 紘平
出版者
一般社団法人 人工知能学会
雑誌
人工知能学会全国大会論文集 第34回全国大会(2020)
巻号頁・発行日
pp.2I5GS205, 2020 (Released:2020-06-19)

機械学習を利用した意思決定を行う際、過去に使われたことのない新しい意思決定アルゴリズムの性能を予測したい場面が多々ある。私たちは、過去に使われたアルゴリズムの下で蓄積されたデータを用い、新たなアルゴリズムの評価を行う方法を提案する。この方法は次の観察に基づく。機械学習を利用して意思決定を行う場合、そこから生成されるデータには、選択がランダムに行われるA/Bテスト的状況が含まれるという観察だ。例えば、多くの確率的な強化学習・バンディットアルゴリズムは選択をランダムに行うため、ほとんどA/Bテストそのものである。また、教師付き学習で予測された何らかのスコアがある基準値を上回るかどうかで選択を変えるアルゴリズムを考える。この場合、基準値付近では、ほぼ同じ状況であるにもかかわらず異なった選択が行われるため、同じくA/Bテスト的状況とみなせる。私たちはこの観察を一般の機械学習アルゴリズムについて定式化し、アルゴリズムが自然に生成したデータを用いてアルゴリズムを改善する手法を提示する。この手法が使える場面は、ウェブ広告配信から裁判の判決や金融機関の審査、そしてデータ駆動教育・医療まで多岐にわたる。

言及状況

外部データベース (DOI)

Twitter (7 users, 7 posts, 28 favorites)

気軽に読めそうだったので、成田さんの「ほとんどすべての機械学習はA/Bテストである」を読みました。モデルにおけるランダムな部分を抽出して因果推論に利用する、成田さんらしい(Econometrica掲載論文など)話だなぁと思いました。 https://t.co/RFxA8n4XtN
予測結果の四捨五入や閾値により施策の実施有無を判定するけど、自然実験でいう回帰不連続デザインになるとみなせるのたしかに。機械学習にランダムがのってるのもたしかに。こういうこと考えたことがなかったから面白かった ほとんどすべての機械学習はA/Bテストである https://t.co/0SH7yuEYVb

収集済み URL リスト