1 0 0 0 形状データベースを利用した多視点画像からの人体形状の3次元計測
本研究の目的は,多視点画像から,あらかじめ取得済みの数百人程度の3次元人体形状データベースを利用して人体の3次元形状を1mm程度の計測精度で測定する手法の確立であった.本研究では,まず,あらかじめ固定されキャリブレーションされた多視点カメラシステムにより撮影された多視点画像からの足形状形状復元手法の確立を行った.そして,多視点画像から,頭部形状の3次元形状計測を簡単に行うことが可能なプロトタイプシステムを開発した.一方,同様の考え方を発展させ,フリーハンドのハンディカメラにより撮影された多視点画像から,人体頭部の形状推定を行うことができる手法を確立した.また,顔の真正面から撮影した1枚の画像から,同様に顔形状を復元できる手法を確立した.さらに,これらの成果を発展させ,複数の監視カメラなどにより非同期で撮影された「非同期多視点画像」から頭部形状を復元可能な手法を提案し,有効性を検証した.その結果,提案した多視点固定カメラにより足形状を高精度に計測可能手法の有効性を検証し,さらに実用化に向けたプロトタイプシステムの検討を行うことができた.また,提案したフリーハンドのハンディカメラにより撮影された画像列や正面画像から顔形状の高精度形状計測を行う手法の有効性が検証できた.同様に,提案手法を利用することにより,非同期多視点カメラにより撮影された画像列からも顔形状の高精度形状計測が可能なことを実験により検証した.
1 0 0 0 OA RGB-Dカメラから得られる部分物体形状と影に基づく光源推定
- 著者
- 池田 拓也 小山田 雄仁 杉本 麻樹 斎藤 英雄
- 出版者
- 一般社団法人 映像情報メディア学会
- 雑誌
- 映像情報メディア学会誌 (ISSN:13426907)
- 巻号頁・発行日
- vol.67, no.4, pp.J124-J133, 2013 (Released:2013-03-25)
- 参考文献数
- 13
Optical consistency between the real world and virtual objects is an important issue in augmented reality (AR). We propose a method to estimate illumination from an object shadow and incomplete object shape information captured by an RGB-D camera. The environmental illumination can be estimated without any prior knowledge of the object shape. The radiance of each light source is computed by solving linear equations derived from color and depth images. Since prior knowledge of the object shape is not necessary, we can flexibly use/combine any objects. Thus, we can use/combine multiple objects in the target scene to increase the accuracy and flexibility. Our experimental results show the characteristics of our proposed method.
1 0 0 0 未校正多視点カメラからの自由視点映像生成
- 著者
- 矢口 悟志 斎藤 英雄
- 出版者
- 一般社団法人電子情報通信学会
- 雑誌
- 電子情報通信学会技術研究報告. PRMU, パターン認識・メディア理解 (ISSN:09135685)
- 巻号頁・発行日
- vol.100, no.633, pp.39-46, 2001-02-15
- 被引用文献数
- 10
本稿では, 未校正の多視点カメラシステムからの自由視点画像を作成する手法を提案する.多視点カメラのうち, 2台の基底カメラ画像によりエピポーラ幾何を利用して射影グリッド空間を構成する.そして, 各カメラのシルエットに射影グリッド空間内の各点を投影することによって, Shape-From-Silhouette(SS法)の原理に基づいて3次元モデルを射影グリッド空間内に再構成する.この3次元モデルから, 各視点の画像間の対応点関係が密に得られるため, この対応点関係を用いて2枚の入力視点画像からその中間にあたる自由視点画像を得る.本手法を大分県別府市ビーコンプラザで撮影した多視点映像に適用したところ, 良好な画質の自由視点映像を合成することができた.
- 著者
- 稲本 奈穂 斎藤 英雄
- 出版者
- 一般社団法人電子情報通信学会
- 雑誌
- 電子情報通信学会論文誌. D-II, 情報・システム, II-パターン処理 (ISSN:09151923)
- 巻号頁・発行日
- vol.88, no.8, pp.1693-1701, 2005-08-01
- 被引用文献数
- 21
スポーツイベントを対象にした自由視点映像合成技術を複合現実感に応用し, HMDを用いた新しいスポーツ観戦の枠組みを提案する. スタジアムで撮影される多視点スポーツ映像から, 視点の内挿によって観察者の視点位置に相当する仮想視点の映像を生成し, HMDを用いて現実空間にスポーツシーンを重畳表示する. これにより, HMDを装着した観察者は, あたかも目の前で試合が行われているかのような感覚を得ることができる. 本手法では, 試合を撮影する多視点カメラや現実空間を撮影するHMDカメラの校正を行わずに, 自然特徴点の対応関係のみから推定可能なカメラ間の射影幾何的関係を用いて, 仮想視点映像の生成や現実空間と仮想物体との位置合せを実現する. 本論文では, 本手法の有用性を検証するために, サッカー映像を複合現実提示するシステムを構築した. このシステムでは, サッカースタジアムで多視点カメラにより撮影したサッカー映像を, 机の上に設置したフィールド模型の上にHMDを用いて重畳表示することができる.
- 著者
- 植松 裕子 斎藤 英雄
- 出版者
- 一般社団法人映像情報メディア学会
- 雑誌
- 映像情報メディア学会冬季大会講演予稿集 (ISSN:13434357)
- 巻号頁・発行日
- no.2006, pp."7-5-1", 2006-11-20
現実世界のテーブルに置いた野球盤の上に,3次元の野球選手によって再現した試合を複合現実提示するARアプリケーションを提案する.ユーザは,webカメラを装着したLCDモニタを通して野球盤を見ることで,好きな視点からその試合を鑑賞することができる.
1 0 0 0 拡張現実感のための未校正カメラ画像への仮想物体の重ね合せ
- 著者
- 原崎 俊介 斎藤 英雄
- 出版者
- 一般社団法人電子情報通信学会
- 雑誌
- 電子情報通信学会論文誌. D-II, 情報・システム, II-パターン処理 (ISSN:09151923)
- 巻号頁・発行日
- vol.85, no.1, pp.46-55, 2002-01-01
- 参考文献数
- 17
- 被引用文献数
- 5
本論文では, 拡張現実感における実画像と仮想物体との幾何学的整合性を解決するために, 2台の未校正カメラから定義される射影グリッド空間と, 視点間のエピポーラ幾何を表すF行列を用いて, 未校正カメラにより撮影された任意視点画像に仮想物体像をオーバレイ表示する手法を提案する.本手法では, 仮想物体を定義するオブジェクト座標系と基底画像間で5点以上の対応点を与えることにより, オブジェクト空間と射影グリッド空間の座標変換を算出する.そして, 任意視点のカメラ画像と基底画像間で8点以上の対応点からF行列を算出し, 任意視点画像とオブジェクト空間を座標変換することによって, 仮想物体を任意視点画像にオーバレイ表示する.本手法は, 射影カメラを用いているので仮想物体の奥行や視点から仮想物体までの距離に関しての制限がない.また, 実装時には, 幾何学的位置合せのための特徴点の3次元位置や幾何学的特徴が不要であるため, 特殊なマーカ等の設置が不要となる.更に, 8点以上の対応点のトラッキングを行うことにより実現できるので, 仮想物体を実画像にオーバレイ表示する処理が軽く, 実時間処理に向いている.本手法に基づいて拡張現実感表示を行う実験システムを構築したところ, 良好な結果が得られ本手法の有効性が確認できた.
- 著者
- 鈴木 雄仁 斎藤 英雄 小沢 慎治
- 出版者
- 一般社団法人電子情報通信学会
- 雑誌
- 電子情報通信学会論文誌. D-II, 情報・システム, II-情報処理 (ISSN:09151923)
- 巻号頁・発行日
- vol.80, no.8, pp.2186-2193, 1997-08-25
- 被引用文献数
- 13
現在顔に関する研究がさまざまな分野において非常に重要になっている. これには画像中の顔領域のみを切り出す必要がある. しかし, 従来までの研究では, 任意背景の顔画像に対しては背景のエッジ等に顔の輪郭を誤推定してしまい, 安定に顔領域を抽出できなかった. 本論文では任意背景の顔画像から顔輪郭を推定するために, まず頭部はだ円曲線形状をしており, 頭髪によりその内部は均一な濃度分布になっていると仮定し, 頭部輪郭線に当てはまるだ円を遺伝的アルゴリズムを用いて求める. 次に頭部輪郭線の情報をもとにして顔の顎部分の輪郭線を推定することにより顔領域輪郭の粗推定を行う. そしてこの輪郭線から, SNAKESを用いてより細かな顔輪郭を抽出する手法を提案する. 更に, 本手法を任意背景顔画像に適用してその有用性を示す.
1 0 0 0 第13回パターン認識国際会議 (13th ICPR) 報告
- 著者
- 大野木 碧 斎藤 英雄
- 出版者
- 一般社団法人電子情報通信学会
- 雑誌
- 電子情報通信学会技術研究報告. HIP, ヒューマン情報処理 (ISSN:09135685)
- 巻号頁・発行日
- vol.105, no.536, pp.83-88, 2006-01-13
集合写真を撮影する際, 2つの困難な点がある.1つは, 撮影対象となる人数が多いため1枚の写真にすべての人を収めるのが難しいという点である.2つめは, それぞれのタイミングで表情が変化するため, すべての人が同じ瞬間にベストショットの表情をすることが難しい点である.そこで本論文ではビデオカメラにより対象を撮影し, イメージモザイキングを用いて集合写真を合成する.そして, 提示された集合写真からユーザがインタラクティブに指定した人物の顔領域を交換できるシステムを提案する.本手法では, まず, KLT Feature Trackerによりフレーム間の対応点を抽出し, 画像間のホモグラフィを算出する.算出されたホモグラフィにを用いて, 画像をつなぎ合わせることによってシステム側がデフォルトの広角集合写真を提示する.ユーザは提示された集合写真に対して, 顔領域を交換したいと思った人物を指定し, それに対してシステムがホモグラフィを用いて入力動画像列から同一人物の顔領域を自動的に抽出する.そして, 抽出された交換顔領域の候補からユーザが交換する顔を指定することによって, インタラクティブな顔領域の交換を可能とした.
本研究はインタラクティブな放送を実現するために、サッカー中継を例に取り上げ、視聴者の意図に適合した視点からの映像を自動的に生成するシステムを開発する事をめざしている。サッカーなど広域にて行われるスポーツにおいてはひとつのカメラですべての動きを撮影することはむずかしく、役割の異なる複数のカメラで撮影して、シーンに適切な映像に切り替えて放送されており、画像処理に基づく自動化が望まれている。視聴者の好みに基づいて視点を選択したいという要求に応える、インタラクティブな映像生成システムを実現することを目的としたもので以下に成果を述べる。多視点撮影環境の構築 複数の解析用の固定カメラはサッカーフィールド全体を取り囲むように設置し、放送用カメラは経験により適切な位置に固定して設置し、試合を撮影するシステムを構築した。サッカーの多視点画像列からの選手およびボールの検出と追跡 フレーム毎のボールの検出にはテンプレートマッチング、フィールド上の選手の検出には背景差分に基づいた抽出手法を用い、フレーム間の追跡を行って軌跡を求めるアルゴリズムを確立した。1台のカメラの画像からボールおよび選手の軌跡の抽出手法は充分な成果をあげている。オクルージョンによる誤りの回避アルゴリズムの開発 1台のカメラの画像処理でオクルージョンが発生した場合には複数のカメラからの画像情報および3次元情報を統合して協調的にボールおよび選手の位置を推測しロバストな追跡を行う手法を開発した。最適視点の決定 ボールおよび選手の追跡情報を評価対象としてそのシーンに最適な視点の放送用カメラを選択する手法を開発した。プレーの判別アルゴリズムの開発 ボールの近傍の選手を検出して、ボールの位置速度情報および選手の動きからパス、シュート、タックルなどのプレーを判別するシステムを構築した。
1 0 0 0 ギター演奏支援のための構造特徴追跡を利用したマーカレスAR表示
- 著者
- 元川 洋一 斎藤 英雄
- 出版者
- 一般社団法人情報処理学会
- 雑誌
- 情報処理学会研究報告コンピュータビジョンとイメージメディア(CVIM) (ISSN:09196072)
- 巻号頁・発行日
- vol.2008, no.3, pp.9-14, 2008-01-17
ギターの演奏は複雑で不慣れな指使いが必要となるため,初心者にとって非常に難しい.本稿では,拡張現実感技術を用いることによってギター演奏を支援するシステムについて紹介し,システムを実現するための,ギターの構造を効率的に利用することによるギターの追跡手法を提案する.本手法はネック部に広範囲に存在する特徴を利用するため,オクルージョンに強く,高精度な位置合わせが可能である.また,マーカを利用しないため,前準備に手間がかからず,マーカが物理的に演奏の妨げになることもないといった利点がある.Playing the guitar is very difficult for beginners because the complex and unfamiliar hand positions is required. In this article, we introduce a support system for guitar playing using augmented reality, and we propose the method to realize the system by using the structure of the guitar effectively. The system can track the guitar movement even when a part of the guitar is occluded and the visual aid information can be projected at the proper position with high accuracy because our method tracks the feature existing wide range of the neck part of the guitar. Furthermore, we don't need to attach the visual marker on the guitar, so there are no obstacle to play the guitar and the preparation required beforehand is very easy.
- 著者
- 植松 裕子 斎藤 英雄
- 出版者
- 一般社団法人映像情報メディア学会
- 雑誌
- 映像情報メディア学会誌 : 映像情報メディア (ISSN:13426907)
- 巻号頁・発行日
- vol.60, no.6, pp.909-919, 2006-06-01
We describe a new on-line AR system, using multiple planar markers placed at arbitrary positions and directions. In most marker-based approaches, the markers' 3D positions and directions need to be measured in advance because they need to define a virtual object's coordinate in one fixed 3D coordinate system. However, such measurement is a very difficult and time-consuming task especially when the markers are in a complex arrangement or are placed in a wide space. Thus, we created a new on-line AR system that does not have any information on the geometrical relationship of the markers. In our registration method, we construct projective 3D space using two reference images, in which we can estimate the geometrical relationship of the multiple markers. By defining the virtual object's coordinate in projective space, this coordinate can be represented in one fixed 3D coordinate system for each frame. We performed some experiments to demonstrate the effectiveness of our system. A virtual object was superimposed onto input image sequences captured with a handy camera. Because the multiple markers were placed in a wide area, the virtual objects could easily move around the real world. Moreover, the registration could be carried out stably because the markers face various directions and because some of them can always be recognized from most viewpoints.
- 著者
- 元川 洋一 斎藤 英雄
- 出版者
- 日本工業出版
- 雑誌
- 画像ラボ (ISSN:09156755)
- 巻号頁・発行日
- vol.19, no.1, pp.1-4, 2008-01
- 著者
- 内山 英昭 斎藤 英雄
- 出版者
- 日本工業出版
- 雑誌
- 画像ラボ (ISSN:09156755)
- 巻号頁・発行日
- vol.19, no.2, pp.27-30, 2008-02