著者

中村 泰貴 河野 誠也 湯口 彰重 川西 康友 吉野 幸一郎

雑誌

研究報告自然言語処理(NL) (ISSN:21888779)

巻号頁・発行日

vol.2022-NL-253, no.6, pp.1-7, 2022-09-22

---

ロボットをはじめとする人間を支援するシステムは,観測から状況を正しく理解し,人間が必要とする支援行動を出力する必要がある.特に人間を対象とした支援において,システムがどのような状況理解を行い,どのような動作行動の生成しようとしているかは,言語で表現することが重要である.そこで本研究では,現在の状況からシステムが行うべき行動を予測しその内容を言語で説明する,動作行動予測とその言語化 (captioning operative action) に取り組む.具体的には,ある状況とそこに対して何らかの支援行動が行われた理想状態の画像を入力とし,どのような支援行動が行われたかを説明する言語化タスクによって動作行動予測を実現するシステムを構築した.この際,こうした状況を説明する補助情報であるシーングラフの予測を補助タスクとして用いることで,シーングラフのアノテーションが存在しないテストセットに対しても精度高く動作行動の予測・言語化を行うことができることが確認された.