- 著者
-
菊地 泰己
桂田 浩一
入部 百合絵
新田 恒雄
- 雑誌
- 研究報告音声言語情報処理(SLP)
- 巻号頁・発行日
- vol.2013, no.7, pp.1-2, 2013-01-25
本論文では,一般的な Web ブラウザ上でマルチモーダル対話システムを可能にするための JavaScrip tライブラリ MMI.js を提案する. MMI.js は,逐次的,同時的,択一的なマルチモーダル入出力の制御,入出力のタイミング制御,エージェントによるプレゼンテーションの各機能をサポートしている. MMI.js の有用性を確認するために,本研究室で開発している英語の発音訓練ソフトにマルチモーダルインターフェースを組み込んだ.これにより複数の入出力手段を組み合わせた複雑な対話を容易に記述できることを確認した.This paper proposes a JavaScript library called "MMI.js" which enables us to use multiple modalities on web browsers. This library supports sequential multimodal inputs/outputs, simultaneous multimodal inputs/outputs, alternative multimodal inputs/outputs, synchronization of multimodal inputs/outputs and gestures given by the dialogue agents. To show usefulness of this library, we embedded multimodal interaction into a pronunciation training application for Japanese students. Through the development of this application, we confirmed the library makes it easy to describe combination of multiple inputs/outputs appearing in complicated interaction.