著者

鈴木 克洋 中村 文彦 大塚 慈雨 正井 克俊 伊藤 勇太 杉浦 裕太 杉本 麻樹

出版者

特定非営利活動法人 日本バーチャルリアリティ学会

雑誌

日本バーチャルリアリティ学会論文誌 (ISSN:1344011X)

巻号頁・発行日

vol.22, no.3, pp.379-389, 2017 (Released:2017-09-30)

参考文献数

17

---

The head-mounted displays (HMD) allow people to enjoy immersive VR experience. A virtual avatar can be the representative of a user in the virtual environment. However, the expression of the virtual avatar with a HMD user is constrained. A major problem of wearing an HMD is that a large portion of one's face is occluded, making facial recognition difficult in an HMD-based virtual environment. To overcome this problem, we propose a facial expression mapping technology using retro-reflective photoelectric sensors. The sensors attached inside the HMD measures the distance between sensors and a face. The distance values of five basic facial expressions (Neutral, Happy, Angry, Surprised, and Sad) are used for training the neural network to estimate the facial expression of a user. Our system can also reproduce facial expression change in real-time through an existing avatar by using regression.

著者

齊藤 千紗 正井 克俊 杉本 麻樹

雑誌

情報処理学会論文誌 (ISSN:18827764)

巻号頁・発行日

vol.62, no.10, pp.1681-1690, 2021-10-15

---

笑いは日常生活で頻繁に観察される表情の1つであり,非言語コミュニケーションに不可欠な役割を果たす.笑いには可笑しさや喜びといった快感情から生じる自然な笑いと快感情をともなわない作り笑いがある.この2つの笑いをコンピュータが適切に推測することができれば,ユーザへの理解が深まり,また,インタラクティブシステムに応用可能である.本稿では,日常の使用に適した形状である眼鏡型の装置に搭載した反射型光センサアレイを用いて,2種類の笑いの識別可能性を検証する.実験では,12人の参加者が動画を視聴して生じた自然な笑いとコンピュータ上の指示による作り笑いの2種類の笑いのデータを収集した.センサから得られた反射強度の分布である幾何学的特徴と時間軸の時間的特徴に対してサポートベクタマシンを適用した結果,ユーザ依存の学習の場合,12人の実験参加者で平均精度が94.6%であった.これはデータを収集した際の表情変化の動画から人間が判定した場合(90.2%)よりも高い精度であった.さらに,畳み込みニューラルネットワークを用いた個人間の学習においても82.9%であった.

著者

浅野 直生 正井 克俊 杉浦 裕太 杉本 麻樹

出版者

特定非営利活動法人 日本バーチャルリアリティ学会

雑誌

日本バーチャルリアリティ学会論文誌 (ISSN:1344011X)

巻号頁・発行日

vol.23, no.3, pp.197-206, 2018 (Released:2018-09-30)

参考文献数

29

---

Facial performance capture is used for animation production that projects a performer's facial expression to a computer graphics model. Retro-reflective markers and cameras are widely used for the performance capture. To capture expressions, we need to place the markers on the performer's face and calibrate the intrinsic and extrinsic parameters of the cameras in advance. However, the tracmeasurable space is limited to the calibrated area. In this paper, we propose a system to capture facial performance using a smart eyewear with photo reflective sensors and machine learning technique.

著者

野口 紅葉 竹川 佳成 徳田 雄嵩 杉浦 裕太 正井 克俊 平田 圭二

雑誌

エンタテインメントコンピューティングシンポジウム論文集

巻号頁・発行日

no.2021, pp.15-19, 2021-08-23

著者

菊地 高史 正井 克俊 杉本 麻樹 Bruce H. Thomas 杉浦 裕太

出版者

特定非営利活動法人 日本バーチャルリアリティ学会

雑誌

日本バーチャルリアリティ学会論文誌 (ISSN:1344011X)

巻号頁・発行日

vol.22, no.4, pp.477-483, 2017 (Released:2017-12-31)

参考文献数

21

---

In this paper, we propose EarTouch, a new sensing technology for ear-based input for controlling applications by slightly pulling the ear and detecting the deformation by an enhanced earphone device. It is envisioned that EarTouch will enable control of applications such as music players, navigation systems, and calendars as an “eyes-free” interface. As for the operation of EarTouch, the shape deformation of the ear is measured by optical sensors. Deformation of the skin caused by touching the ear with the fingers is recognized by attaching optical sensors to the earphone and measuring the distance from the earphone to the skin inside the ear. EarTouch supports recognition of multiple gestures by applying a support vector machine (SVM). EarTouch was validated through a set of user studies.

著者

鈴木 克洋 中村 文彦 大塚 慈雨 正井 克俊 伊藤 勇太 杉浦 裕太 杉本 麻樹

出版者

特定非営利活動法人 日本バーチャルリアリティ学会

雑誌

日本バーチャルリアリティ学会論文誌 (ISSN:1344011X)

巻号頁・発行日

vol.22, no.3, pp.379-389, 2017

---

<p>The head-mounted displays (HMD) allow people to enjoy immersive VR experience. A virtual avatar can be the representative of a user in the virtual environment. However, the expression of the virtual avatar with a HMD user is constrained. A major problem of wearing an HMD is that a large portion of one's face is occluded, making facial recognition difficult in an HMD-based virtual environment. To overcome this problem, we propose a facial expression mapping technology using retro-reflective photoelectric sensors. The sensors attached inside the HMD measures the distance between sensors and a face. The distance values of five basic facial expressions (Neutral, Happy, Angry, Surprised, and Sad) are used for training the neural network to estimate the facial expression of a user. Our system can also reproduce facial expression change in real-time through an existing avatar by using regression.</p>

著者

大石 貴広 正井 克俊 中村 文彦 伊藤 勇太 杉浦 裕太 杉本 麻樹

出版者

特定非営利活動法人 日本バーチャルリアリティ学会

雑誌

第21回日本バーチャルリアリティ学会大会

巻号頁・発行日

2016-09-09