1 0 0 0 OA 連続デプス画像解析に基づく仮説検証型ピアノ運指認識手法
- 著者
- 有賀治樹 岡明也 橋本学 長田典子
- 雑誌
- 研究報告音楽情報科学(MUS)
- 巻号頁・発行日
- vol.2013-MUS-100, no.11, pp.1-6, 2013-08-24
本稿では,演奏者によらず使用できる,マーカレス・ピアノ運指認識手法を提案する.距離画像中のわずかな手掛かりをもとに指先候補位置を多数検出し,ピアノキー位置との対応を確率的に表現したものを仮説群として生成する.各仮説から手全体の姿勢を推定して画像化し,入力距離画像との手全体の整合性を求めることによって最尤仮説を決定する.このとき,各指先 (親指~小指) の存在確率マップを用いて指先候補位置を確率的に表現し,仮説の尤度に反映させる.汎用 3-D ハンドモデルを用いて仮説をオンラインで画像化することにより,個人ごとの事前の実データ学習が不要となり,演奏者固有の演奏時の手の姿勢に影響されにくい,汎用的な運指認識を実現した.計 128 音からなる初心者向け楽曲を用いた実験により,認識成功率 88% を確認した.
1 0 0 0 OA マーカレス運指認識と音列照合によるピアノ演奏スキル評価システムの提案
ピアノ演奏の練習において,特に初心者の場合には正しいキーを正しい運指で弾くという基本的な練習が重要であることから,演奏状況をモニタリングし,客観的な誤りをタイムリーに提示するピアノ演奏スキル評価システムが望まれている.本研究では,2 つの要素技術を組み合わせることによってこれを実現した.1 つめは,楽譜上の音符と実際に打鍵されたキーを照合する音列照合技術である.練習時には未打鍵や余打鍵の発生に加えて,正しい演奏でも多少の揺らぎが発生するため,DP マッチングに基づいて柔軟な照合を実現した.2 つめは運指認識であり,練習中の自然な演奏を妨げないために,距離センサで得られた動画像列に汎用 3D -ハンドモデルを適用する仮説検証型手法を提案した.実際の楽曲を用いた実験評価により,単純マッチングに比べ検出数約 83% 削減でき,処理時間 0.6 秒を確認した.