著者

リム アンジェリカ 水本 武志 大塚琢馬 古谷 ルイ賢造カイエ 尾形 哲也 奥乃 博

出版者

情報処理学会

雑誌

情報処理学会論文誌 (ISSN:18827764)

巻号頁・発行日

vol.52, no.12, pp.3599-3610, 2011-12-15

---

聞く,見るは,共演者が仲間の演奏者とテンポを合わせて演奏するために重要なスキルである.画像キュー(cue,合図)を検知し,他の演奏者に耳を傾けることによって,演奏者はいっせいに演奏を始め,テンポの緩急の合図に合わせ,さらに,いっせいに演奏を終えることができる.本稿では,人間のフルート奏者がアンサンブルリーダを担い,ロボットは伴奏者として人間の演奏に追従する問題を扱う.まず,フルート奏者の3種類のジェスチャを提案し,画像キューによる認識,音響ビートと画像キューとの統合によるテンポ推定について述べ,テルミン演奏共演ロボットのジェスチャ認識について報告する.初期実験で3タイプの画像キューが83%以上で検出できること,また,画像キューと音響ビート検出とを組み合わせることにより,テンポ検出が0.5秒以内に行えればビート追跡が安定することが分かった.この結果,フルート奏者の指示に合わせて共演者音楽ロボットがテルミンを演奏し,歌を歌うことが可能となった.Listening and watching are important skills for co-players to play in time with fellow musicians. By detecting visual cues and listening to other players, musicians can start together, stop together, and follow a leader's visual cues of changes in tempo. In this paper, we formalize three visual cues for the case of flutists, and describe how our thereminist robot co-player system detects them. Initial experiments show over 83% detection rates for our 3 types of visual cues. Additionally, by coupling visual cues and acoustic beat detection, the robot can extract a tempo in half a second. The resulting robot co-player can play theremin and sing a song with the lead of a human flutist.