著者

後藤 真孝 日高 伊佐夫 松本 英明 黒田 洋介 村岡 洋一

出版者

一般社団法人情報処理学会

雑誌

情報処理学会論文誌 (ISSN:18827764)

巻号頁・発行日

vol.40, no.4, pp.1910-1921, 1999-04-15

被引用文献数

12

---

本論文では すべてのプレーヤーが対等な立場でインタラクションし 即興演奏するジャズセッションシステムについて述べる. 本研究の目的は 人間と計算機とが影響を与え合いながら演奏する新しい統合演奏環境を実現することである. ジャズではプレーヤー間のインタラクションが重要であるが 従来の多くのシステムでは 人間のソロ演奏に対して 計算機が他のプレーヤー全員の演奏を伴奏としてまとめて生成していた. 本論文では 計算機内のプレーヤー同士も 人間同様にお互いの演奏を聞き合ってインタラクションできるシステムを提案する. そして その発展形として 各プレーヤーがお互いの姿を見ることもできる仮想ジャズセッションシステムVirJa Sessionを提案する. 本システムでは 計算機プレーヤーの姿やジェスチャーがコンピュータグラフィックスで視覚化され 計算機プレーヤーが他のプレーヤーのジェスチャーをカメラ等を通いて認識できる. こうして 全プレーヤー間のマルチモーダルインタラクションを実現することで 従来の音だけのセッションシステムに比べ より臨場感のあるセッションが達成できる. 現在の実装では ジャズのピアノトリオを対象とし 人間がピアニスト 計算機がベーシストとドラマーを担当する. 両計算機プレーヤーを独立したプロセスとして複数の計算機上に実装し 実験を行った結果 提案したジャズセッションが実現できたことを確認した.This paper presents a jazz session system in which each player is in dependent and can interplay with all other players. The purpose of this research is to build a new performance environment that facilitates interplay among humans and computers. Although interaction among players is important in jazz, computer accompaniment parts of most of the previous systems were collectively generated as a single task and only reacted to the human soloist's performance. This paper proposes a system that enables computer players to listen to other computer players' performances as well as the human players' performances and to interact with each other. This paper moreover proposes an advanced virtual jazz session system called VirJa Session which also enables all players to see each others' gestures. In our system, the bodies and gestures of computer players are visualized on computer graphics and each computer player can recognize other players' gestures. Thus, we can achieve multimodal interaction among all players. In our current implementation, the system deals with a jazz piano trio consisting of a human pianist, a computer bassist, and a computer drummer. Both computer players have been implemented as separate processes on a distributed environment of multiple workstations. Through our experiments, we verified that our proposed objectives have been achieved.