著者

鈴木 雅大 松尾 豊

出版者

人工知能学会

雑誌

2018年度人工知能学会全国大会(第32回)

巻号頁・発行日

2018-04-12

---

近年のマルチモーダル学習は,深層ニューラルネットワークが用いられることが多い.通常,ネットワークの訓練のために大量のラベルありデータ集合が必要だが,ラベル情報の付与には人的コストがかかってしまう.したがって,マルチモーダルデータにおける半教師あり学習が重要となる.これらの手法の中でも,近年深層生成モデルを用いたマルチモーダル半教師あり学習が提案されている.本研究では,まずこれらの手法を比較し,特に決定論的な対応関係がない異なるモダリティを入力とした場合,共有表現に対応する潜在変数を持つSS-HMVAEが高い性能となることを確認する.次に単一モダリティからラベルを予測するために,SS-HMVAEを拡張したモデルであるSS-HMVAE-klを提案する.この手法によって,従来のモデルと比較して,単一モダリティを入力とした場合の性能が大幅に向上することを確認した.