著者
新田 直子 馬場口 登 北橋 忠宏
出版者
一般社団法人電子情報通信学会
雑誌
電子情報通信学会論文誌. D-II, 情報・システム, II-パターン処理 (ISSN:09151923)
巻号頁・発行日
vol.84, no.8, pp.1838-1847, 2001-08-01
被引用文献数
24

我々は放送型スポーツ映像に対して映像・試合の構成に従い,ストーリー上重要と考えられる部分への意味的なアノテーションの自動生成を試みる.まずクローズドキャプションと呼ばれる言語ストリームから,キーワード列探索によりスポーツ映像において重要な意味をもつ実際に試合が進行している部分を抽出した上で,各部分でのプレイ・プレイを行った選手に関する情報を抽出しアノテーションを生成する.次に生成したアノテーションを付ける映像位置を決定するため,画像ストリームに対するマッチングにより同様に試合進行部分を抽出することで映像分割を行う.最後に両ストリームの時間的同期をとることによって,生成したアノテーションを映像に対して与える.本手法をスポーツ映像の例として実際のアメリカンフットボールの試合映像に適用し実,験を行った結果,再現率75%,適合率90%で映像の正確な試合進行部分に対して自動的にアノテーションを付けることが可能となった.
著者
姜国臻 新田 直子 馬場口 登
出版者
一般社団法人情報処理学会
雑誌
情報処理学会研究報告コンピュータビジョンとイメージメディア(CVIM) (ISSN:09196072)
巻号頁・発行日
vol.2008, no.27, pp.127-132, 2008-03-10
参考文献数
7

映像編集は一般に,素材映像から選択されたショットの並び替えにより実現される.本研究では事例映像である専門家により制作された編集映像とその素材映像から学習した編集技術に基づいた自動映像編集を目指す.まず,編集映像を構成するショットを,ショット長,動き,輝度といった画像特徴量の量子化に基づきシンボル化し,その時系列パターンを隠れマルコフモデル (HMM) により学習する.また,編集映像において連続するショットの素材映像における相対位置分布を求める.次に,学習した HMM によりシンボル列を生成し,ユーザから与えられた素材映像を構成するすべてのショットに対して算出した各シンボルへの適合度,及び相対位置分布に基づき,各シンボルに最適なショットを選択することにより,編集映像のショット列を生成する.本稿では事例映像としてアクション映画の予告映像と本編映像を用い,一本の本編映像に対する映像編集により提案手法を評価した.Video editing is generally realized by arranging video segments selected from raw footage. Considering professionally edited videos and their original footage as example videos, our aim is to automatically edit a raw footage based on the editing techniques learned from example videos. The proposed method firstly represents each shot constituting the edited videos by a symbol based on the image features such as shot length, motion, and bright ness, and learns the shot temporal sequence pattern by Hidden Makov Model (HMM). For each set of consecutive shots in edited videos, the distribution of their relative positions in the original footage is also obtained. Then, a symbol sequence, which constructs an edited video, is generated by the learned HMM, and according to symbol compatibilities of all shots in raw footages and the position distribution, we select the most appropriate shot for each symbol. In this paper, we used action movies as the example videos and evaluated our approach by editing an original movie.
著者
新田 直子 馬場口 登
出版者
一般社団法人電子情報通信学会
雑誌
電子情報通信学会論文誌. D-II, 情報・システム, II-パターン処理 = The transactions of the Institute of Electronics, Information and Communication Engineers. D-II (ISSN:09151923)
巻号頁・発行日
vol.86, no.8, pp.1222-1233, 2003-08-01
参考文献数
12
被引用文献数
21

本論文では,放送型スポーツ映像が本来もつ意味的構造を考慮し,映像に対してその構造,意味内容を十分に表現する意味内容記述モデルを提案する.更に,その記述にかかる労力を軽減するため,意味内容に関する情報を多く含むと考えられる映像内の発話に着目し,これをテキスト形式にしたものに対し,ベイジアンネットワークの利用により,意味内容に基づいたセグメントヘの分割を試みる.また,画像ストリーム上の特徴の利用により映像に対して同様の意味をもつセグメントヘの分割を行い,これらの結果を時間的に対応づけることによって,より正確な映像分割とともに,各映像セグメントヘの意味内容を含んだ発話部分の特定を実現し,意味内容獲得の自動化を目指す.本論文では実際に放送されたアメリカンフットボール,野球映像に対して提案手法を適用し,それぞれ再現率93%,93%,適合率89%,94%と良好な結果を得ており,提案手法の有効性を示している.
著者
臼井 篤志 新田 直子 馬場 ロ登
出版者
一般社団法人情報処理学会
雑誌
研究報告コンピュータビジョンとイメージメディア(CVIM) (ISSN:09196072)
巻号頁・発行日
vol.2009, no.29, pp.217-222, 2009-03-06

子供の成長記録のように,長期間に渡り蓄積された人物画像コレクションにおいては,同一の被写体であっても顔の外見に大きな経年変化が生じるため,一枚の顔画像をクエリとして特定人物を撮影した画像を検索することは非常に困難となる.本研究では適合性フィードバックの適用により,このような経年変化を含む人物画像コレクションからの特定人物画像検索の精度向上を目指す.我々が収集した人物画像コレクションに対する実験により,5 回フィードバックを繰り返すことにより再現率が 40.8% から 72.5% に上昇することを確認した.Given a single face image as a query, it is very difficult to retrieve images of a specific person from a human image collection stored for long term due to age-related changes in facial appearances. This paper proposes to apply relevance feedback to enhance the performance of image retrieval from the image collections under age variation. For our human image collection, the proposed approach improved the recall rate from 40.8% to 72.5% after five feedback iterations.
著者
吉田 好 新田 直子 馬場口 登
出版者
一般社団法人電子情報通信学会
雑誌
電子情報通信学会技術研究報告. PRMU, パターン認識・メディア理解 (ISSN:09135685)
巻号頁・発行日
vol.109, no.470, pp.347-352, 2010-03-08

映像編集は一般に,素材映像から選択された部分映像の並び替えにより実現される.本研究は,専門家により制作された編集映像を事例映像として用いることにより,一般ユーザによるホームビデオを素材映像とする映像編集の支援を目指す.提案手法では,まず,事例映像の各ショットを,特徴量の量子化に基づきシンボル化する.次に,素材映像をカメラワークの切り替わりでセグメントに分割し,各シンボルへの適合度及び,ホームビデオ特有の手振れなどに関連する知覚品質の2つの尺度に基づき,セグメントを評価する.事例映像から得られたシンボル列及び,シンボルへの適合度・知覚品質・時系列に応じて配置されたセグメントをインタフェース上に提示し,映像編集におけるセグメントの選択・配置を支援する.
著者
金 壯一 新田 直子 馬場口 登
出版者
一般社団法人電子情報通信学会
雑誌
電子情報通信学会技術研究報告. PRMU, パターン認識・メディア理解 (ISSN:09135685)
巻号頁・発行日
vol.110, no.467, pp.335-340, 2011-03-03

映像編集において,映像ショット列に対する音楽のミキシングは,質の高い編集映像を生成する上で,重要な行程の一つである.映像ショット列に対する音楽ミキシングにおけるプロセスに,1)映像ショット列の動画の印象に適合する音楽の選択,2)映像ショット列中の各ショットに対する適切な音量調整,の2つが挙げられる.本稿では,事例映像における動画と音楽の特徴間の相関関係に基づいた音楽選択,音響の特徴パターンに基づいた音量調整による,映像ショット列に対する音楽ミキシング手法を提案し,事例として映画予告映像を用いた実験により各プロセスによる編集映像の質の向上を確認した.
著者
秋月 達人 新田 直子 馬場口 登
出版者
一般社団法人電子情報通信学会
雑誌
電子情報通信学会技術研究報告. PRMU, パターン認識・メディア理解 (ISSN:09135685)
巻号頁・発行日
vol.106, no.100, pp.31-36, 2006-06-09

近年,インターネット,テレビといった通信媒体の性能向上に伴い,大量の映像コンテンツの入手が可能となった.また,計算機上での映像編集ツールも多々開発されており,素材映像の編集による映像制作は身近なものとなりつつある.しかし実際に魅力的な編集映像を制作するには,いまだ高度な編集技術や知識,時間,費用を要する.そこで我々は,専門家により編集された事例映像から編集技術を学習することにより,一般ユーザの映像編集を支援するシステムを提案している.ここで編集技術の一つとして,映像全体に調和感を持たせるために,映像を構成する動画と音を同期させることが知られている,そこで本稿では,映像をショットの並びとみなした際の,ショットの切り替え時における音の低レベル特徴に基づいた変化を,動画と音の時系列変化の同期パターンとして学習する.
著者
秋月 達人 新田 直子 馬場口 登
出版者
一般社団法人電子情報通信学会
雑誌
電子情報通信学会技術研究報告. DE, データ工学 (ISSN:09135685)
巻号頁・発行日
vol.106, no.98, pp.31-36, 2006-06-09
被引用文献数
1

近年,インターネット,テレビといった通信媒体の性能向上に伴い,大量の映像コンテンツの入手が可能となった.また,計算機上での映像編集ツールも多々開発されており,素材映像の編集による映像制作は身近なものとなりつつある.しかし実際に魅力的な編集映像を制作するには,いまだ高度な編集技術や知識,時間,費用を要する.そこで我々は,専門家により編集された事例映像から編集技術を学習することにより,一般ユーザの映像編集を支援するシステムを提案している.ここで編集技術の一つとして,映像全体に調和感を持たせるために,映像を構成する動画と音を同期させることが知られている.そこで本稿では,映像をショットの並びとみなした際の,ショットの切り替え時における音の低レベル特徴に基づいた変化を,動画と音の時系列変化の同期パターンとして学習する.