著者

中園 薫 角田 麻里 長嶋 祐二 細野 直恒

出版者

The Institute of Electronics, Information and Communication Engineers

雑誌

電子情報通信学会論文誌 D (ISSN:18804535)

巻号頁・発行日

vol.J94-D, no.1, pp.221-232, 2011-01-01

---

筆者らは,外国人や聴覚障害者など,音声でのコミュニケーションが不自由な人を対象とした,コミュニケーション支援システム,VUTEを開発している.VUTEでは,携帯電子端末等で動画絵記号を表示させることにより,理解度の向上を図る.更に手話的表現を参考とすることにより,特定の国や文化に依存しない動画絵記号をデザインできることを目指している.また,マンガ的表現を取り入れることにより,より豊かな表現力をもつ.本研究の第一段階として,消防や怪我,急病などの救急時におけるコミュニケーションに限定した支援システム,VUTE 2009を試作し,公開した.本論文では,VUTE 2009がユニバーサルにコミュニケーションを支援できるよう工夫した設計方法について述べる.続いて本システムによって救急時の最低限のコミュニケーションが可能であることを評価実験によって確認し,今後のより詳細な評価実験へ向けて問題点を整理する.

著者

中園 薫 長嶋 祐二

出版者

兵庫県立福祉のまちづくり研究所

雑誌

基盤研究(C)

巻号頁・発行日

2012-04-01

---

手話表現に見られる視覚言語独特の写像的表現方法をピクトグラムデザインに応用した理解しやすいデザイン手法,およびマクロな表現から細かい手指の表現までを階層的に記述する視覚表現手法の確立を目指して研究を進めた.手話会話映像分析作業から抽出された手話独特の表現様式を利用し,抽象的概念を表現した3~数枚の動画ピクトグラムを作成し,評価実験により了解度の向上を確認した.次にTVMLにより,アニメーション的な動きのある動画ピクトグラムを記述・作成する手法を試みた.さらに記述が容易なマクロ表現からTVMLへ至る階層的表現の枠組みと変換によってTVMLの詳細なプログラミング作業を簡略化する手法の検討を行った.

著者

中園 薫 角田 麻里 長嶋 祐二

出版者

一般社団法人電子情報通信学会

雑誌

電子情報通信学会技術研究報告. MVE, マルチメディア・仮想環境基礎 (ISSN:09135685)

巻号頁・発行日

vol.110, no.457, pp.147-152, 2011-02-28

参考文献数

2

---

著者らは,外国人旅行者や聴覚障害者などの音声コミュニケーションが不可能または困難な人達を対象として,コミュニケーションを代行支援するコミュニケーション補助技術VUTE (Visualized Universal Talking Environment)の研究を進めている.これまでに,急病,怪我や火事など救急時に119番に電話をかけて緊急通報する代わりとなるシステムVUTE 2009を試作したが,これに続いて鉄道駅などでの公共交通機関での対話を支援するシステムVUTE 2010を試作した.本システムは携帯端末上に絵記号を表示することにより,利用者に適切な絵記号を選択させ,その内容に応じた文章を出力する.本稿では,本システム開発のために行った会話内容の分類系統化や絵記号のデザイン指針などについて述べる.さらに,日常的にコンピュータ等を使用しない50歳代〜60歳代の7名の被験者を対象に評価実験を行った.その結果,本システムを利用することによって,あらかじめ設定した駅での会話状況において生じる会話文を,文字や音声を使用せずにVUTEを操作することにより,出力できることを確認した.

著者

中園 薫 長嶋 祐二 細野 直恒

出版者

一般社団法人電子情報通信学会

雑誌

電子情報通信学会技術研究報告. WIT, 福祉情報工学 (ISSN:09135685)

巻号頁・発行日

vol.108, no.488, pp.85-90, 2009-03-16

被引用文献数

4

---

著者らは,外国人や聴覚障害者など,音声でのコミュニケーションが不自由な人を対象とした,コミュニケーション補助,システムVUTEを開発している.従来のAACがほとんどが静止画ピクトグラムを用いていたのに対し,VUTEでは動画ピクトグラムを用いることにより理解度の向上を計る.また,動画ピクトグラムのデザインの際に,手話表現を参考としている.現在,消防や怪我,急病などの救急時におけるコミュニケーションに限定して,システムを試作中である.本報告では,手話の表現様式の分析に基づいた,動画ピクトグラムのデザイン指針について述べる.続いて,試作したシステムの構成と機能概要について述べる.

著者

中園 薫

雑誌

全国大会講演論文集

巻号頁・発行日

vol.49, pp.375-376, 1994-09-20

---

人間が音声知覚するとき、耳から聞こえる音だけでなく、視覚の影響も受けていることが知られている。たとえば、「ぱ」という音声と「が」と言っている口の動きの画像とを合わせて提示すると、他の音一一たとえば「だ」ーーに知覚される(McGurk効果)。本稿では、音声知覚に影響を与えるのは動画像情報の中のどんな要素なのか、画像のフレームレートなどを変化させ、聴取実験をおこなうことによって議論する。文献において、フレームレートが変わると、McGurk効果によって異聴が生じる度合が変わることを示した。しかし、フレームレートの変動によって生じるどのような視覚的刺激の変化要因が音声知覚に影響を与えたのか、真の原因を特定するまでには至らなかった。ここでは、その要因として、(1)画像の動きがとびとびに不自然になることによって聴覚に与える影響を阻害する、(2)動画像のコマを間引くことによって音韻の決定をする上で重要な特定の視覚的刺激を持った画像(コマ)が落ちる、の2つを考える。この特定のコマとは、唇音と非唇音の間で異聴が顕著に見られることから、「唇を閉じた瞬間」の画像であると予想できる。そこで、今回は、口を閉じた状態から「ば」と1回だけの発声したデータと、その前に「あ」の音をつけた発声したデータの2種類を用意した。(前者を"ba-type"、後者を"aba-type"と呼ぶ)そして、音声波形を見ながら、「ぱ」の音の立上りの瞬間からちょうど1秒前を開始点とし、そこから2秒間を刺激データの素材として切り出すことによって、刺激ごとの時間軸を正規化した。[figre1]この素材をもとに、30fps,15fps,10fps,5fps,3fpsの刺激データをダウンサンプルした。これによって、どの刺激データも音の立上りの瞬間の画像を含むことなる。さらに、aba-typeの刺激については、フレームレートが十分低いときに[figre1]に示したようにサンプルするフレームを半分ずらすと、口を閉じる瞬間がまったく入っていない刺激が作れる。(こうして作った刺激データを"15fps-Shift"と呼ぶ)これらの刺激データを使って、提示、聞き取りの実験を行った。