著者
美濃 導彦 橋本 敦史 森 信介 飯山 将晃 椋木 雅之 舩冨 卓哉 山肩 洋子 中村 和晃
巻号頁・発行日
2012-04-01 (Released:2013-05-15)

本研究では,道具の使用,および論理や推論による問題解決能力を利用して行う「知的行動」の認識を目指してきた.この題材として調理を対象に,レシピ等の言語で表現される「概念的行動」と調理者を観測して得られる「表出動作」の関係を明らかにしてきた.このうち,「概念的行動」に関しては,H25年度までにレシピテキストから自然言語処理によって,作業の流れの構造を抽出したフローグラフのコーパスを整備した.「表出動作」についてはH26年度において,半自動でのタグの付与を行うことでデータセットの大規模化を図った.H27年度はこれまでに作成した上記データセットを元に機械学習を行い,手に取られり,置かれたりした物体を画像処理により自動的に認識する識別器を作成し,その性能評価を行なった.また,これをH25年度に構築した「概念的行動」の予測を行うシステムに識別器を組み込むことで,「表出動作」に基づく「概念的行動」の認識システムを構築した.H25年度に構築した概念的行動の認識システムでは入力として,フローグラフと,直前までに行われた「表出動作」の履歴を用いた.この段階では「表出動作」の入力は手動で行なっており,認識アルゴリズムも「表出動作」の認識結果が決定的に与えられることを前提としていた.このため,識別器の誤りに対する頑健性には改善の余地があった.今回「表出動作」の入力を識別器により自動化したのと平行して,「表出動作」の認識結果が非決定的に与えられた場合を想定して,「概念的行動」の認識アルゴリズムの改良について検討を行い,対外発表を行なった.自然言語処理としては手法や語彙ラベルの見直しによるレシピテキストに対する解析精度の向上を図った.この他,本研究課題に関連する応用システムを構築し,論文として発表するなど,積極的な対外発表を行なった.
著者
井上 仁 橋本 敦史 中村 和晃 舩冨 卓哉 山肩 洋子 上田 真由美 美濃 導彦
出版者
The Institute of Electronics, Information and Communication Engineers
雑誌
電子情報通信学会論文誌 D (ISSN:18804535)
巻号頁・発行日
vol.J97-D, no.9, pp.1490-1502, 2014-09-01

本論文では,調理中に起きる食材切断行動を利用した食材認識手法を提案する.一般的な物体認識手法の多くは,画像だけを用いている.しかし食材は異種であっても色が似通っていたり,同一種でも形状が大きく異なるために,画像のみでは認識が困難である.本論文では,食材を切断する際に観測できる荷重と切断音を新たな特徴として統合的に利用する.食材切断時にまな板にかかる荷重は,食材の硬さを反映した特徴であり,切断時に発生する振動音は食材内部の構造を反映している.ゆえに,これらの特徴は画像と併せて用いることで,食材の認識精度を向上させることが期待される.三つの特徴を統合した際の認識精度について,23種の食材を用いて検証し,大幅な認識精度の向上を確認した.
著者
森 信介 橋本 敦史 飯山 将晃 舩冨 卓哉
巻号頁・発行日
2014-04-01 (Released:2014-04-04)

自動でフローグラフを構築する枠組みを構築した。この枠組みは、既存の単語分割に加えて、自動用語認識と用語間の関係を自動推定からなる。自動用語認識は、固有表現認識と同じ枠組みで解けるが、部分的アノテーションを用いることができるように改良し、この精度を大きく改善した。また、フローグラフを構築する手法については、係り受け解析の手法のひとつである最大全域木に基づく手法を応用し、辺の追加の仕組みを加えることで実現した。これを、前年度までに構築したレシピのフローグラフコーパスを用いて評価した。また、フローグラフからレシピ文を生成する方法の改良を行い、精度向上を確認した。さらに、フローグラフコーパスの一部のレシピについて、調理映像を収録し、映像を入力とするレシピ文の生成に取り組む準備を整えた。以上の成果は以下のサイトで公開している。レシピ言語処理マニュアル: http://plata.ar.media.kyoto-u.ac.jp/kadowaki/, レシピフローグラフコーパス (r-FG corpus): http://plata.ar.media.kyoto-u.ac.jp/mori/research/NLR/FGC/main.html, 調理映像 (KUSK dataset): http://kusk.mm.media.kyoto-u.ac.jp/ja/