著者

四倉 達夫 川本 真一 松田 繁樹 中村 哲

雑誌

情報処理学会論文誌 (ISSN:18827764)

巻号頁・発行日

vol.49, no.12, pp.3847-3858, 2008-12-15

---

声優経験のない参加者が,プロの声優のアフレコした発話アニメーションに近いリップシンク精度で,デジタルアニメキャラクタの発話と同期したアニメーションを体験できる,インタラクティブ発話合成システム<i>iFACe</i>を提案する.iFACeはリップシンクアニメーションを素早く生成するため,参加者から収録した台詞音声のタイミングに合わせてCGキャラクタ発話アニメーションを生成する,プレスコ方式を用いている.本システムは,参加者が選択した台詞情報と台詞に対応した音声を入力とし,雑音環境下でも推定精度の高い音素アラインメントを行い音素と音素継続長を求める.次にさまざまなスタイルのカートゥーンキャラクタにあうキーフレームの作成を行う.出力したキーフレームから,ブレンドシェープアプローチによるGPUを使ったリアルタイム発話アニメーションと音声を同期し出力を行う.本システムは日本科学未来館に5日間のデモンストレーションを行い,主観評価実験から,74%の回答者が,ゲームとして声優体験システムで遊んでみたいと示し,エンタテインメントシステムとしての有効なコンテンツであることが示された.In this paper, we propose a novel interactive lip-sync animation system for entertainment that works with players' voices and transcriptions as input and provides following: Robust speech recognition for a wide range of consumers in noise environments; smoothing lip-sync animation for cartoon characters; and blend-shaped based technique common in CG production real-time lip-sync animation on graphics hardware. We demonstrated and evaluated our system at National Museum of Emerging Science and Innovation (Miraikan) for five days. The evaluated results showed that our system was effective contents for entertainment use.