- 著者
-
品川 政太朗
吉野 幸一郎
サクティ サクリアニ
鈴木 優
中村 哲
- 出版者
- The Institute of Electronics, Information and Communication Engineers
- 雑誌
- 電子情報通信学会論文誌 D (ISSN:18804535)
- 巻号頁・発行日
- vol.J102-D, no.8, pp.514-529, 2019-08-01
自然言語から思い通りの画像を生成するシステムは,コンピュータによるデザイン作成支援に有用であると期待されている.本研究では,自然言語によってインタラクティブな画像編集を行うことを指向して,自然言語の指示によって直前にシステムからユーザへ共有された生成画像を操作することで,より意図に沿った画像を新たに生成するフレームワークを提案する.具体的には,修正元となる画像データをConvolutional neural networks (CNNs)によって埋め込んだベクトルと,画像に対する自然言語の修正指示文をLong short-term memory neural networks (LSTM)によって埋め込んだベクトルを入力とし,敵対的学習によって指示通りに修正された画像の生成を行う枠組みを提案した.実験では,手書き数字操作データセットを用いた単純なタスクにより,提案モデルが学習した画像編集タスクにおける振る舞いについて分析した.また,実際に人手で付与した指示文によってアバター画像を修正し,意図に沿った編集を行うことができることを確認した.