著者

馬場口 登 栄藤 稔 佐藤 真一 安達 淳 阿久津 明人 有木 康雄 越後 富夫 柴田 正啓 全 柄東 中村 裕一 美濃 導彦 松山 隆司

出版者

一般社団法人電子情報通信学会

雑誌

電子情報通信学会技術研究報告. PRMU, パターン認識・メディア理解 (ISSN:09135685)

巻号頁・発行日

vol.102, no.155, pp.69-74, 2002-06-20

被引用文献数

35

---

電子情報通信学会パターン認識・メディア理解研究会の下で検討,作成した映像処理評価用映像データベース(VDB:Video Data Base)について述べる.このデータベースは編集効果(シーン切替),カメラワーク,テロップの出現,音声品質という点においてテレビ放送に匹敵する品質の素材映像をもち,ニュース,ドラマ,ドキュメンタリー,情報番組(料理,観光)などのジャンルの映像からなる.また,ショット境界やシナリオ情報をMPEG7形式のメタデータとして付与している.各種の映像処理アルゴリズムを比較評価するためのベンチマークデータとして利用されることが期待される.

著者

新田 直子 馬場口 登 北橋 忠宏

出版者

一般社団法人電子情報通信学会

雑誌

電子情報通信学会論文誌. D-II, 情報・システム, II-パターン処理 (ISSN:09151923)

巻号頁・発行日

vol.84, no.8, pp.1838-1847, 2001-08-01

被引用文献数

24

---

我々は放送型スポーツ映像に対して映像・試合の構成に従い,ストーリー上重要と考えられる部分への意味的なアノテーションの自動生成を試みる.まずクローズドキャプションと呼ばれる言語ストリームから,キーワード列探索によりスポーツ映像において重要な意味をもつ実際に試合が進行している部分を抽出した上で,各部分でのプレイ・プレイを行った選手に関する情報を抽出しアノテーションを生成する.次に生成したアノテーションを付ける映像位置を決定するため,画像ストリームに対するマッチングにより同様に試合進行部分を抽出することで映像分割を行う.最後に両ストリームの時間的同期をとることによって,生成したアノテーションを映像に対して与える.本手法をスポーツ映像の例として実際のアメリカンフットボールの試合映像に適用し実,験を行った結果,再現率75%,適合率90%で映像の正確な試合進行部分に対して自動的にアノテーションを付けることが可能となった.

著者

西田 豊明 馬場口 登 谷口 倫一郎 黒橋 禎夫 植田 一博 伝 康晴 辻井 潤一 美濃 導彦 中村 裕一

出版者

京都大学

雑誌

学術創成研究費

巻号頁・発行日

2001

---

(1)講義のコミュニケーションに関する一連の研究の総括を行った.マルチモーダルセンシングによる会議環境の記録の手法について知見を得た.会話に適切な構造を与えて記録し,再利用を促進するための手法を提案した.非言語的な手がかりに注目した会話量子の自動抽出法の研究を行い,実装した.(2)会話の雰囲気や焦点などの自動認識と会話構造化のための知見を得た.会話記録をマルチメディアコンテンツとして加工する研究を行った.会話量子を風景として可視化できる会話コンテンツアーカイブシステムの開発を進めた.深い理解のための言語情報処理基盤の研究と,人間の言語活動に関する認知言語学的考察を行い,種々のアプリケーションシステムを構築した.(3)身体性のある知識メディアとしての会話ロボットを一部実装した.種々の身体表現が人間に与える影響を調査した.体格に依存しない情報提示を実現した.会話エージェントパッケージUAPを用いて,異文化コミュニケーションの学習支援システムと,ユキャンパスガイドエージェントシステムを試作した.(4)人間の嘘を視線・顔方向・表情のみから自動的に判別するシステムを構築し,その評価を行った.インタラクション時の行動的指標と生理指標とユーザのインタラクション状態の関連を明らかにした.ターン構成単位の認定のための手続き的な基準を与えた.包括的読解課題および局所的読解と,「心の理論」の関係を検討し,児童期の心の発達を分析した.同調性・信頼感と心的プロセスとの間の関連を実証的に検証した.対話中の身体動作を定量的に評価する手法を提案した.会話記録のスコアリング手法を提案した.ウェアラブルセンサ・環境センサを用いて獲得された多視点の同期した体験データを閲覧・分析可能とするシステムiCorpus Studioを開発した.

著者

相澤 清晴 馬場口 登

雑誌

研究報告 オーディオビジュアル複合情報処理(AVM)

巻号頁・発行日

vol.2012, no.6, pp.1-1, 2012-02-16

---

ACM マルチメディア国際会議 (ACM Multimedia) が 2012 年 10 月 29 日~11 月 2 日の日程で奈良新公会堂にて開催される.今年,この会議が 1993 年に始まって,ちょうど開催 20 周年にあたる記念すべき年でもある.この会議は,ACM SIG-MM のフラッグシップ会議であり,マルチメディア分野での最も重要な学術会議である.近年のマルチメディア国際会議の動向,特に,昨年米国で開かれた ACMMultimedia2011 の状況などを織り交ぜて,本会議に関する紹介を行う.日本での Multimedia 2012 におけるプログラムの特徴などについても紹介する.ACM Multimedia 2012 is held from Oct.29 to Nov.2, 2012 at Nara Prefecture New Public Hall. This year we celebrate 20th Anniversary of the conference since it started 1993. It is the flagship conference of ACM SIG-MM and it is the premier conference in the field of multimedia. In this talk, recent trend of this conference is introduced.

著者

馬場口 登 堀江 政彦 上田 俊弘 淡 誠一郎 北橋 忠宏

出版者

一般社団法人電子情報通信学会

雑誌

電子情報通信学会論文誌. D-II, 情報・システム, II-情報処理 (ISSN:09151923)

巻号頁・発行日

vol.80, no.3, pp.791-800, 1997-03-25

被引用文献数

41

---

本論文では, ユーザが現在地から目的地までの経路を理解するための支援システムとして, 略地図とその案内文を生成するシステムSKETISTを提案する. SKETISTは, データベース部, インタフェース部, および処理モジュール部からなる. データベース部には, 原地図画像を表すベクトル地図画像ベースと構造化データである道路ネットワークの二つがある. 処理モジュール部は, 道路ネットワーク抽出, 経路探索, 略地図生成, 案内文生成から構成される. 経路理解に主たる役割を果たす略地図とその案内文は, ベクトル地図画像ペースから自動的に生成される道路ネットワークを基礎データとして作成される. SKETISTの特徴は, 種々の処理段階でユーザの要求を反映できる設計となっていること, および相対する情報伝達特性を有する画像・図形メディアと言語メディアの統合システムとなっていることである. 提案システムを実装して動作検証を行った結果, ユーザの要求を反映した経路を探索し, 図形情報, 記号情報の双方を操作することにより任意の複雑さの略地図と案内文が良好に生成されることを確認した.

著者

姜国臻 新田 直子 馬場口 登

出版者

一般社団法人情報処理学会

雑誌

情報処理学会研究報告コンピュータビジョンとイメージメディア(CVIM) (ISSN:09196072)

巻号頁・発行日

vol.2008, no.27, pp.127-132, 2008-03-10

参考文献数

7

---

映像編集は一般に,素材映像から選択されたショットの並び替えにより実現される.本研究では事例映像である専門家により制作された編集映像とその素材映像から学習した編集技術に基づいた自動映像編集を目指す.まず,編集映像を構成するショットを,ショット長,動き,輝度といった画像特徴量の量子化に基づきシンボル化し,その時系列パターンを隠れマルコフモデル (HMM) により学習する.また,編集映像において連続するショットの素材映像における相対位置分布を求める.次に,学習した HMM によりシンボル列を生成し,ユーザから与えられた素材映像を構成するすべてのショットに対して算出した各シンボルへの適合度,及び相対位置分布に基づき,各シンボルに最適なショットを選択することにより,編集映像のショット列を生成する.本稿では事例映像としてアクション映画の予告映像と本編映像を用い,一本の本編映像に対する映像編集により提案手法を評価した.Video editing is generally realized by arranging video segments selected from raw footage. Considering professionally edited videos and their original footage as example videos, our aim is to automatically edit a raw footage based on the editing techniques learned from example videos. The proposed method firstly represents each shot constituting the edited videos by a symbol based on the image features such as shot length, motion, and bright ness, and learns the shot temporal sequence pattern by Hidden Makov Model (HMM). For each set of consecutive shots in edited videos, the distribution of their relative positions in the original footage is also obtained. Then, a symbol sequence, which constructs an edited video, is generated by the learned HMM, and according to symbol compatibilities of all shots in raw footages and the position distribution, we select the most appropriate shot for each symbol. In this paper, we used action movies as the example videos and evaluated our approach by editing an original movie.

著者

明神 聖子 馬場口 登

雑誌

研究報告インターネットと運用技術(IOT) (ISSN:21888787)

巻号頁・発行日

vol.2017-IOT-39, no.5, pp.1-6, 2017-09-22

---

本稿では,メディアを介した伝達情報の不定性と,それによって人が騙されるときの思考状態について考察を与える.メディアを介して人から人へ情報として伝えようとしても,別々の認知体系を持ち,それぞれの閉じた世界の中で情報の解釈を行う我々は,全く同じ意味内容を共有することはできないといわれている.そのような意味が定まらない情報を人が推定するというプロセスが,単に人と人の間で意味の齟齬を引き起こすだけでなく,人を騙すために機能するというところを数理的に表現し,自己の世界が解釈した対象の意味内容によって,信じるという状態が生じさせられていることを示す.

著者

河合 吉彦 馬場口 登 北橋 忠宏

出版者

一般社団法人電子情報通信学会

雑誌

電子情報通信学会技術研究報告. PRMU, パターン認識・メディア理解 (ISSN:09135685)

巻号頁・発行日

vol.100, no.566, pp.83-90, 2001-01-12

被引用文献数

8

---

要約映像とは, 元の映像における重要な部分を短く編集した映像と定義される.本稿では, スポーツTV映像を対象とし, 個人適応を指向した要約映像の生成法を提案する.提案手法ではまず, スポーツのハイライト部が記述されたゲームスタッツと映像ストリームとの対応付けによって重要イベントを抽出する.この対応付けは, 映像中に出現するオーバーレイに含まれるテキスト情報を認識することにより実現する.続いて, 抽出されたイベントの中から個人の嗜好や興味を考慮して要約映像に含めるべきショットを選択, 連結し要約映像を生成する.実際の包装映像に対する実験では, 約2.5時間の映像が個人適応されつつ数分に要約された.

著者

佐藤 慶子 新田 直子 伊藤 義道 馬場口 登

出版者

一般社団法人電子情報通信学会

雑誌

電子情報通信学会総合大会講演論文集

巻号頁・発行日

vol.2008, no.2, 2008-03-05

著者

新田 直子 馬場口 登

出版者

一般社団法人電子情報通信学会

雑誌

電子情報通信学会論文誌. D-II, 情報・システム, II-パターン処理 = The transactions of the Institute of Electronics, Information and Communication Engineers. D-II (ISSN:09151923)

巻号頁・発行日

vol.86, no.8, pp.1222-1233, 2003-08-01

参考文献数

12

被引用文献数

21

---

本論文では,放送型スポーツ映像が本来もつ意味的構造を考慮し,映像に対してその構造,意味内容を十分に表現する意味内容記述モデルを提案する.更に,その記述にかかる労力を軽減するため,意味内容に関する情報を多く含むと考えられる映像内の発話に着目し,これをテキスト形式にしたものに対し,ベイジアンネットワークの利用により,意味内容に基づいたセグメントヘの分割を試みる.また,画像ストリーム上の特徴の利用により映像に対して同様の意味をもつセグメントヘの分割を行い,これらの結果を時間的に対応づけることによって,より正確な映像分割とともに,各映像セグメントヘの意味内容を含んだ発話部分の特定を実現し,意味内容獲得の自動化を目指す.本論文では実際に放送されたアメリカンフットボール,野球映像に対して提案手法を適用し,それぞれ再現率93%,93%,適合率89%,94%と良好な結果を得ており,提案手法の有効性を示している.

著者

宮内 進吾 馬場口 登 北橋 忠宏

出版者

一般社団法人電子情報通信学会

雑誌

電子情報通信学会技術研究報告. PRMU, パターン認識・メディア理解 (ISSN:09135685)

巻号頁・発行日

vol.101, no.569, pp.63-70, 2002-01-11

参考文献数

15

被引用文献数

2

---

映像メディアを効率よく扱うには, 映像の意味内容に基づいてインデクスを付与しておく必要がある.本稿では, 放送型のスポーツ映像を対象に, インデクシングの対象として特に重要であると考えられる意味的なイベントの検出法を提案する.本手法では, まずクローズドキャプションと呼ばれる言語ストリームにおける語の出現情報を特徴として, イベントの候補区間を検出する.次に, これらの区間を音特徴に基づいて再評価し, 誤検出と思われるものを棄却する.最後に, 得られたイベント区間を画像情報を利用してショットに分割し, 音特徴からイベントショットを同定する.本手法を実際のアメリカンフットボール中継の映像に適用した結果, 再現率77%, 適合率84%でイベント区間を効率良く検出し, また良好な精度でショットに対するインデクシングが行えた.

著者

美濃 導彦 馬場口 登 谷口 倫一郎 角所 考

出版者

社団法人人工知能学会

雑誌

人工知能学会誌 (ISSN:09128085)

巻号頁・発行日

vol.21, no.2, pp.156-161, 2006-03-01

参考文献数

11

被引用文献数

2

著者

吉田 好 新田 直子 馬場口 登

出版者

一般社団法人電子情報通信学会

雑誌

電子情報通信学会技術研究報告. PRMU, パターン認識・メディア理解 (ISSN:09135685)

巻号頁・発行日

vol.109, no.470, pp.347-352, 2010-03-08

---

映像編集は一般に,素材映像から選択された部分映像の並び替えにより実現される.本研究は,専門家により制作された編集映像を事例映像として用いることにより,一般ユーザによるホームビデオを素材映像とする映像編集の支援を目指す.提案手法では,まず,事例映像の各ショットを,特徴量の量子化に基づきシンボル化する.次に,素材映像をカメラワークの切り替わりでセグメントに分割し,各シンボルへの適合度及び,ホームビデオ特有の手振れなどに関連する知覚品質の2つの尺度に基づき,セグメントを評価する.事例映像から得られたシンボル列及び,シンボルへの適合度・知覚品質・時系列に応じて配置されたセグメントをインタフェース上に提示し,映像編集におけるセグメントの選択・配置を支援する.

著者

金 壯一 新田 直子 馬場口 登

出版者

一般社団法人電子情報通信学会

雑誌

電子情報通信学会技術研究報告. PRMU, パターン認識・メディア理解 (ISSN:09135685)

巻号頁・発行日

vol.110, no.467, pp.335-340, 2011-03-03

---

映像編集において,映像ショット列に対する音楽のミキシングは,質の高い編集映像を生成する上で,重要な行程の一つである.映像ショット列に対する音楽ミキシングにおけるプロセスに,1)映像ショット列の動画の印象に適合する音楽の選択,2)映像ショット列中の各ショットに対する適切な音量調整,の2つが挙げられる.本稿では,事例映像における動画と音楽の特徴間の相関関係に基づいた音楽選択,音響の特徴パターンに基づいた音量調整による,映像ショット列に対する音楽ミキシング手法を提案し,事例として映画予告映像を用いた実験により各プロセスによる編集映像の質の向上を確認した.

著者

上柿普史 中島悠太 馬場口登

雑誌

画像の認識・理解シンポジウム(MIRU2011)論文集

巻号頁・発行日

vol.2011, pp.1645-1652, 2011-07-20

---

映像の要約や編集などのアプリケーションでは,重要な領域を推定し,その領域に基づいて映像を処理することから,重要な領域の推定手法が必要とされている.一方,YouTube などにはモバイルカメラで撮影された映像が多く投稿されており,これらの映像には「自分の子供を撮影したい」などの撮影意図が存在する.このとき「子供の領域」のような撮影者が意図的に撮影した領域(意図領域)は撮影意図に不可欠である.本稿では,意図領域を重要な領域として推定する手法について述べる.提案手法では,撮影者はフレーム中で意図領域を適切に配置するようにカメラを動かすことから,撮影者の行動が反映されるカメラの動きと映像特徴のモデルを構築し,このモデルに基づいて意図領域を推定する.さらに,実験により提案手法の有効性を示す.

著者

黄瀬 浩一 岩村 雅一 馬場口 登

出版者

大阪府立大学

雑誌

基盤研究(B)

巻号頁・発行日

2007

---

あたかも物体そのものにハイパーリンクが張られているように,カメラで物体を撮影(クリック)すると,その物体の関連情報が取得できたり,また撮影した画像を介してその物体の関連情報を登録できれば,高齢者や障害者にも優しい実世界指向インタフェースが実現できる.本研究では,100万枚の平面物体,55個の小型立体物,関東および関西の歴史的な建物,および2万ページの文書を対象として,大規模高速認識・検索技術を構築することにより,この目的を実現した.

著者

秋月 達人 新田 直子 馬場口 登

出版者

一般社団法人電子情報通信学会

雑誌

電子情報通信学会技術研究報告. PRMU, パターン認識・メディア理解 (ISSN:09135685)

巻号頁・発行日

vol.106, no.100, pp.31-36, 2006-06-09

---

近年,インターネット,テレビといった通信媒体の性能向上に伴い,大量の映像コンテンツの入手が可能となった.また,計算機上での映像編集ツールも多々開発されており,素材映像の編集による映像制作は身近なものとなりつつある.しかし実際に魅力的な編集映像を制作するには,いまだ高度な編集技術や知識,時間,費用を要する.そこで我々は,専門家により編集された事例映像から編集技術を学習することにより,一般ユーザの映像編集を支援するシステムを提案している.ここで編集技術の一つとして,映像全体に調和感を持たせるために,映像を構成する動画と音を同期させることが知られている,そこで本稿では,映像をショットの並びとみなした際の,ショットの切り替え時における音の低レベル特徴に基づいた変化を,動画と音の時系列変化の同期パターンとして学習する.

著者

秋月 達人 新田 直子 馬場口 登

出版者

一般社団法人電子情報通信学会

雑誌

電子情報通信学会技術研究報告. DE, データ工学 (ISSN:09135685)

巻号頁・発行日

vol.106, no.98, pp.31-36, 2006-06-09

被引用文献数

1

---

近年,インターネット,テレビといった通信媒体の性能向上に伴い,大量の映像コンテンツの入手が可能となった.また,計算機上での映像編集ツールも多々開発されており,素材映像の編集による映像制作は身近なものとなりつつある.しかし実際に魅力的な編集映像を制作するには,いまだ高度な編集技術や知識,時間,費用を要する.そこで我々は,専門家により編集された事例映像から編集技術を学習することにより,一般ユーザの映像編集を支援するシステムを提案している.ここで編集技術の一つとして,映像全体に調和感を持たせるために,映像を構成する動画と音を同期させることが知られている.そこで本稿では,映像をショットの並びとみなした際の,ショットの切り替え時における音の低レベル特徴に基づいた変化を,動画と音の時系列変化の同期パターンとして学習する.

著者

黄瀬浩一 百田 賢一 杉山 淳一 馬場口 登 手塚慶一

出版者

一般社団法人情報処理学会

雑誌

情報処理学会論文誌 (ISSN:18827764)

巻号頁・発行日

vol.34, no.8, pp.1716-1730, 1993-08-15

被引用文献数

5

---

印刷文書こ記録された情報を計算機を介して有効利用するためには、文書中の文字を認識し、論理構造により構造化するという文書画像理解が不可欠となる。一般に、文書の論理構造は、章、節などの論理オブジェクトの木構造として表現され、文書のレイアウトとともに、コンテントとも深い関連性を持つものである。したがって、文書画像理解のロバスト性を向上させるためには、いずれか一方ではなく、両者を知識として蓄え、協調的に使用することが望ましい。本論文では、仮説駆動型の処理戦略の導入により、この目標の達成を試みる。本手法では、まず文書のレイ・アウトに関する知識を用いて、論理オブジェクトの領域を抽出する。ここで、抽出結果に複数の可能性が残る場合には、互いに矛盾する仮説として生成する。生成された仮説は、依存関係を保持する依存関係データベースにより記録・管理され、処理の制御に使用される。また、処理の途中で発見された仮説の矛盾は矛盾データベースに記録され、探索空間の削減に用いられる、次に仮説の依存関係、矛麿を考慮しつつ、コンテントに関する知識を用いて仮説を検証する。本手法では、単語の接続性、単語列の矛盾という二つの概念を導入し、知識を表現する。縦書き名刺100枚を対象とした仮説生成検証実験から、文字の摘出率93.0%、論理オブジェクトの抽出率92.6%、コンテントの同定率86.8%を得、本手法の有効性を確認した。

著者

小倉 武紘 大原 剛三 馬場口 登

出版者

一般社団法人映像情報メディア学会

雑誌

映像情報メディア学会技術報告 (ISSN:13426893)

巻号頁・発行日

vol.27, no.8, pp.75-80, 2003-02-03

被引用文献数

1

---

近年,ユーザの映像アクセスを支援するサービスの必要性が高まっており,それを実現する上で,さらに個人の趣味・嗜好を考慮に入れることが強く求められている.そこで,本稿では,メタデータを付与された映像メディアに対し,検索などのサービスを実現し,さらにユーザの視聴行動から自動的に趣味・嗜好を獲得するシステムを提案する.そして,実験により個人の趣味・嗜好を自動獲得する手法の有用性を検証する.