著者

宇佐美 真 杉村 博 一色 正男

雑誌

情報処理学会論文誌コンシューマ・デバイス&システム(CDS)

巻号頁・発行日

vol.7, no.2, pp.64-75, 2017-05-25

---

バーチャルリアリティ(VR)は,技術の進化にともない市場急成長が期待されている.ヘッドマウントディスプレイの高機能化に代表されるように,視覚に向けた映像出力の技術が実用化されてきた.次なるVRへの要求として手や指を使ったアクションをVR映像上のコンテンツにフィードバックするインタフェース技術の重要性が認識されている.しかし,既存手法におけるジェスチャのようなアクションを認識する方式は物理的反力がないため映像変化と,手や指の感覚齟齬に起因する違和感が発生しやすい.そこで,柔らかい実体物(柔軟物)は,外力を加えられると形状変化するという点に着目した.指で押し込まれた周辺の歪みを観測することから力覚を推定し,指が感じる反力として提示する方式を検討する.実体物と重ねて表示されるバーチャル映像に力覚インタラクションの結果を同調して反映することで,視覚と力覚が整合すると考えられる.その結果,違和感が縮小すればVRコンテンツの臨場感向上の効果が期待できる.そこで本稿では指の感じる反力を提示するために,柔軟物の弾力性を活用する.柔軟物が押し込まれた周辺の歪曲度合いを視覚認識するため,柔軟物の表面に形状自由度特性を有する2次元L字型のマーカ装着を施した力覚提示装置を開発した.この装置が指で押し込まれるときに発生する形状変化をカメラで視覚認識することで力覚量を推定し,VRシステムにフィードバックする方式を提案する.指の押し込みと同調して発生するマーカの歪曲度合いを観測するための実装を行い,実験ではXY座標軸におけるマーカ位置変位量からユークリッド距離を求めることで柔軟物の歪曲度合いを推定し,力覚量に相当する数値をシステムにフィードバックすることが可能なことを確認した.Virtual Reality (VR), rapid growth of the market is expected due to the evolution of technology. Image output technologies are commercialized for the sense of vision as represented by highly featured head-mounted displays. An importance as a next requirement of VR is recognized, which is the interface technology to feed back the action using hands and fingers into content on VR images. However, in an existing method to recognize actions such as gestures, since there is no physical reaction force, a sense of discomfort is likely to occur due to inconsistency of the image changes and the finger, hand sense. We focus attention on a soft-material object (soft object), which is distorted by external forces. We study a method to estimate force-sensations by observing the perimeter distortions where the soft object is pushed down by a finger, and to display a reaction force sensed by the finger. It is assumed that the sense of vision and the force-sensation are consistent by reflecting the result of force-sense-interactions, synchronized with displayed virtual images to be overwrapped with real objects. As a result, the discomfort is reduced, and an effect of improved realism in VR content is expected. Therefore, in this paper, in order to display the reaction force which is sensed by the finger, we develop a force display device by utilizing the elasticity of the soft object. The device is equipped with a two-dimensional L-shaped marker, which incorporates shape-flexibility-characteristics on the surface of the soft object in order to visually recognize the distortion degree of perimeter where is pushed by the finger. We propose a method that is fed back to the VR system by estimating force-sensations quantity by a camera, which recognizes shape-changes occur to be in the force display pushed by the finger. We implemented a method to observe the distortion degree of the marker to be generated synchronously with pushing down the finger. In the experiment, the distortion degree of soft object was estimated by calculating the Euclidean distance from the displacement quantity of marker positions in the coordinate axis at XY, and confirmed that it was possible to feed numerical values which is equivalent to force-sensations back into the system.