著者

大矢 隼士 森島 繁生

雑誌

研究報告音楽情報科学(MUS)

巻号頁・発行日

vol.2012-MUS-95, no.10, pp.1-6, 2012-05-26

---

インターネットの動画共有サイト上に存在するアマチュア制作の音楽動画を再利用することにより,自動的に音楽動画を生成するシステムを提案する.この音楽動画は,既存の音楽にゲームやアニメなどの映像を切り貼りして制作されたものであり,MAD 動画と呼ばれている.本稿では,以前筆者らグループが提案した DanceReProducer の学習手法を,マルコフ連鎖を使うことにより映像の時系列情報を考慮できるように改善し,Forward Viterbi アルゴリズムを用いて動画生成をおこなう.提案システムは,まずインターネット上にアップロードされている MAD 動画を大量に取得し,データベースとする.その後,データベースの動画から音楽特徴量,映像特徴量を抽出し一小節ごとにまとめ,楽曲の構造情報やテンポの推定をおこなう.次に,各特徴量をクラスタリングし,状態変数を音楽特徴量,潜在変数を映像特徴量として,潜在変数のマルコフ連鎖モデルを使用して学習する.動画の生成は,任意の楽曲 (入力楽曲) に対し,学習した同調関係から最も入力楽曲と同調する映像をデータベースから選び出し,切り貼りすることで新しい動画を自動的に生成している.

著者

緒方 信 四倉 達夫 森島 繁生

出版者

一般社団法人電子情報通信学会

雑誌

電子情報通信学会技術研究報告. HIP, ヒューマン情報処理 (ISSN:09135685)

巻号頁・発行日

vol.99, no.582, pp.53-58, 2000-01-21

被引用文献数

4

---

感情音声が合成可能となれば、人間と機会とのノンバーバルなコミュニケーションが実現できるのみならず、人間同士の対話も円滑化する新しいコミュニケーションシステムが実現可能となる。しかし自然音声に感情を付加する為には、原音声のクオリティ、発話内容、話者の情報を保ちつつ、韻律情報を制御しなくてはならない。本稿では、音声系列中の各母音を切り出してピッチ制御を行い、文節単位でイントネーションを変化させ、さらに発話速度や音の強弱の制御によって、感情表現付加が可能なシステムを開発した。本手法により無感情音声から原音声のクオリティを保ったまま合成感情音声の作成が可能となった。

著者

室伏 空 中野 倫靖 後藤 真孝 森島 繁生

雑誌

研究報告音楽情報科学(MUS)

巻号頁・発行日

vol.2009-MUS-81, no.21, pp.1-7, 2009-07-22

---

本研究では、既存のダンス動画コンテンツの複数の動画像を分割して連結(切り貼り)することで、音楽に合ったダンス動画を自動生成するシステムを提案する。従来、切り貼りに基づいた動画の自動生成に関する研究はあったが、音楽{映像間の多様な関係性を対応付ける研究はなかった。本システムでは、そうした多様な関係性をモデル化するために、Web 上で公開されている二次創作された大量のコンテンツを利用し、クラスタリングと複数の線形回帰モデルを用いることで音楽に合う映像の素片を選択する。その際、音楽{映像間の関係だけでなく、生成される動画の時間的連続性や音楽的構造もコストとして考慮することで、動画像の生成をビタビ探索によるコスト最小化問題として解いた。

著者

古澤知英 福里司 岡田成美 平井辰典 森島繁生

雑誌

第76回全国大会講演論文集

巻号頁・発行日

vol.2014, no.1, pp.345-346, 2014-03-11

---

近年,2D 手描きアニメーションの需要は増え続けている.しかし,現状では中割り画像生成の行程において,特に多くの労力と作業時間が取られるため,アニメーション制作を容易に行うことは難しい.このような背景から,中割り画像の中でも作品中で重要なキャラクタの顔を含み,かつ多くの作業時間を要する顔回転シーンを自動生成する技術は,必要とされている.そこで,本研究では正面と横顔2枚の入力画像から0~90度までの顔回転シーンを生成する.入力画像の2D情報に基づく変換を行うことで,3Dアニメーションでは表現できない2D手描きアニメーションならではの表現を反映したキャラクタ顔回転シーン生成のための方法を提案する.

著者

サフキン パーベル 加藤 卓哉 福里 司 森島 繁生

雑誌

情報処理学会論文誌 (ISSN:18827764)

巻号頁・発行日

vol.57, no.7, pp.1627-1637, 2016-07-15

---

人物の顔には老化にともない,しみやくすみ,皺やたるみが発生し,顔の印象が大きく変化する.このことから,経年変化顔生成技術は長期的な犯罪捜査や行方不明者の捜索に必要となる.既存研究の1つは,年代別顔画像データベースを用いて入力顔画像を小片画像単位で再構成することで,写実的な経年変化顔画像を合成する手法を提案している.しかし,この手法を含め,従来の経年変化顔画像生成手法には,老化時の人物の個人性を表す重要な要素である人物固有の皺の発生位置や形状を考慮できないという問題があった.そこで本稿では,この問題を解決する新たな経年変化顔画像合成手法を提案する.具体的には,若年での表情変化によってできる皺が老化時の皺発生の原因となるという医学的知見に基づき,表情変化時の顔画像で発生している皺を無表情顔画像へ転写することによって,老化時の皺の発生位置と形状を推定する.その後,年代別顔画像データベースを用いて皺の発生位置と形状が推定された結果を小片画像単位で再構成することで経年変化顔画像を合成する.提案手法は皺の位置や形状の個人性を反映し,また主観評価実験の結果から,その有用性を示した.

著者

平井 辰典 中野 倫靖 後藤 真孝 森島 繁生

出版者

一般社団法人 映像情報メディア学会

雑誌

映像情報メディア学会誌 (ISSN:13426907)

巻号頁・発行日

vol.66, no.7, pp.J251-J259, 2012 (Released:2012-06-25)

参考文献数

12

被引用文献数

2

---

We present a method that can automatically annotate when and who is appearing in a video stream that is shot in an unstaged condition. Previous face recognition methods were not robust against different shooting conditions, such as those with variable lighting, face directions, and other factors, in a video stream and had difficulties identifying a person and the scenes the person appears in. To overcome such difficulties, our method groups consecutive video frames (scenes) into clusters that each have the same person's face, which we call a “facial-temporal continuum,” and identifies a person by using many video frames in each cluster. In our experiments, accuracy with our method was approximately two or three times higher than a previous method that recognizes a face in each frame.

著者

平賀 裕 斎藤 善行 森島 繁生 原島 博

出版者

一般社団法人電子情報通信学会

雑誌

電子情報通信学会技術研究報告. HC, ヒューマンコミュニケーション

巻号頁・発行日

vol.93, no.439, pp.1-8, 1994-01-26

被引用文献数

25

---

音声に含まれる基本的感情を分析するため、演劇経験者に感情を込めて単語音声・短文音声を発声してもらい、それぞれに関して分析を試みた。本研究では扱う感情を「怒り」「喜び」「悲しみ」「嫌悪」の4種とし、「平静」音声と比較を基に今まであまり行なわれていなかったピッチ周波数・振幅の変化パターンの検討を中心に分析を行った。またより豊かな感情分析のためにFMラジオから感情音声を採取し、主観評価した後同様の検討を加えた。その結果、矛盾点も皆無というわけではなかったが、相互に多大なる共通項を見いだすことが出来た。

著者

足立 吉広 前島 謙宣 四倉 達夫 森島 繁生

出版者

一般社団法人電子情報通信学会

雑誌

電子情報通信学会技術研究報告. HCS, ヒューマンコミュニケーション基礎 (ISSN:09135685)

巻号頁・発行日

vol.102, no.734, pp.1-6, 2003-03-11

---

音声への感情付加や発話強調、方言の付加等を目的として、任意の自然音声もしくは合成音声に対して声質を変換する手法を提案する。従来から、音声の韻律情報を制御し、イントネーションを制御する研究が行われてきたが、波形レベルでの変形を行っていることから、再現された音声の自然性の劣化が著しかった。そこで本研究では、声質変換した音声の自然性の劣化を抑えるためにSTRAIGHTの考え方を導入し、セグメンテーションした音節区間毎に、継続長、ピッチ、パワーを制御する方法を新たに付加することで、発話速度とイントネーションを変換するシステムを構築した。これにより喋り方の手本となる参照音声の分析結果から、発話速度、ピッチ推移、パワー推移をセグメントごとに自動抽出して、サンプル音声にこの韻律情報をそのままコピーし、声質変換することが可能となった。

著者

嵯峨山 茂樹 伊藤 克亘 宇津呂 武仁 甲斐 充彦 小林 隆夫 下平 博 伝 康晴 徳田 恵一 中村 哲 西本 卓也 新田 恒雄 広瀬 啓吉 峯松 信明 森島 繁生 山下 洋一 山田 篤 李 晃伸

出版者

一般社団法人電子情報通信学会

雑誌

電子情報通信学会技術研究報告. NLC, 言語理解とコミュニケーション (ISSN:09135685)

巻号頁・発行日

vol.103, no.518, pp.73-78, 2003-12-12

---

擬人化音声対話エージェントのツールキット"Galatea"の開発プロジェクトについて報告する.Galateaの主要な機能は音声認識,音声合成,顔画像合成であり,これらの機能を統合して,対話制御の下で動作させるものである.研究のプラットフォームとして利用されることを想定してカスタマイズ可能性を重視した結果,顔画像が容易に交換可能で,音声合成が話者適応可能で,対話制御の記述変更が容易で,更にこれらの機能モジュール自体を別のモジュールに差し替えることが容易であり,かつ処理ハードウェアの個数に柔軟に対処できるなどの特徴を持つシステムとなった.この成果はダウンロード可能となっており,一般に無償使用許諾している.

著者

岡田成美 岡見和樹 福里司 岩本尚也 森島繁生

雑誌

第75回全国大会講演論文集

巻号頁・発行日

vol.2013, no.1, pp.227-228, 2013-03-06

---

動画投稿サイトの普及に従い、一般ユーザによるCGキャラクタがダンスをする作品の投稿は年々増加傾向にある。しかしキャラクタのダンスモーションの作成には労力がかかり、また感情的な表現が存在する実際のダンスとは程遠いものとなっている。そこで本研究では、表現力豊かなダンスモーションを手軽に作成出来るシステムを提案する。異なる表現のダンスをモーションキャプチャで取得し、関節の角速度によりデータを区切り時間的同期を行い、主観評価により解析した鑑賞者のダンスにおける印象に起因する要素について変換を行うフィルタを作成する。これにより一つのモーションデータから表現力のついたモーションを生成することが可能となる。

著者

長田 誉弘 大室 学 緒方 信 森島 繁生

出版者

一般社団法人電子情報通信学会

雑誌

電子情報通信学会技術研究報告. HCS, ヒューマンコミュニケーション基礎 (ISSN:09135685)

巻号頁・発行日

vol.101, no.693, pp.25-32, 2002-02-28

被引用文献数

3

---

映画製作においては、手動のマッチムーブ処理によって、主人公の顔部分を別の人物に置き換える処理がしばしば行われるが、経験と時間を要する処理である。また、洋画の吹き替えにおいては、口形と音声の同期が取れず、しばしば、口の動きからせりふが制約を受ける場合もある。本稿では、映像中の人物の顔の位置と向きを自動的に推定し、顔の全体もしくは一部を置き換える手法を提案し、この問題点に対応する。顔のトラッキングには、3次元テンプレートを利用する手法を提案し、精度の高い推定を実現する。また、このトラッキング結果に基づいて画像中にワイヤフレームを当てはめ、顔を他の人物のものと置換したり、口の部分を入れ替えて、別の言葉を発声する映像に変換するシステムを提案する。

著者

三枝 太 安藤 真 森島 繁生

出版者

一般社団法人電子情報通信学会

雑誌

電子情報通信学会総合大会講演論文集

巻号頁・発行日

vol.1996, 1996-03-11

被引用文献数

2

---

ヒューマン・インタフェース、知的画像符号化などの分野での表情合成技術においては、人物頭部画像のリアルな合成が必要不可欠なものとなっている。筆者らは、頭髪を「空間曲線」によって近似し、近似的なアンチエイリアシングや予測を用いた効率的なレンダリングを取り入れることで、より高速で質の高い画像の生成に成功した。頭髪の生成には、予め与えられた人物頭部の3次元モデル表面に自動的に生成する方法を提案した。しかし、この手法では髪型をインタラクティブにデザインできないという問題点が残されていた。そこで髪型をインタラクティブに編集するインタフェースの実現により、より自然な頭髪画像の生成に成功したので報告する。

著者

岸 啓補 三枝 太 森島 繁生

出版者

一般社団法人映像情報メディア学会

雑誌

映像情報メディア学会技術報告 (ISSN:13426893)

巻号頁・発行日

vol.22, no.12, pp.67-74, 1998-02-20

---

サイバースペースにおける仮想人物の合成やコミュニケーションシステムの実現にむけ、コンピュータグラフィクスによる人物画像合成等が注目を集めている。本稿では、特に人物のCGの中でも合成が難しいとされる頭髪の表現方法について述べる。人物画像において頭髪は視覚的に重要であるにも関わらず、簡単な曲面や背景の一部で代用されることが多い。頭髪を一つの物体として扱い、マッピング技術を用いて表現する手法が成果をあげているが運動の表現は不可能である。そこで頭髪をテクスチャを用いずに空間曲線を用いて作成する。頭髪の部分的な集まりである房をモデル化することで簡略化したヘアスタイルデザインシステムを提案し、房をモデル化する手法、レンダリング手法について述べ、実際にこのヘアスタイルデザインシステムを用いて作成した頭髪画像を示す。

著者

八木 康史 森島 繁生 金子 正秀 原島 博 谷内田 正彦 原 文雄 橋本 周司

出版者

一般社団法人情報処理学会

雑誌

情報処理学会研究報告コンピュータビジョンとイメージメディア(CVIM) (ISSN:09196072)

巻号頁・発行日

vol.1998, no.26, pp.65-72, 1998-03-19

被引用文献数

4

---

顔画像処理に対する様々な分野での関心の高まりや、工学分野における顔画像処理技術の研究成果の蓄積を背景にして、顔画像処理に関する共通ソフトウェアのツールの作成に向けた活動が進められている。この活動は、「感性擬人化エージェントのための顔情報処理システムの開発」(略称、アドバンストエージェントプロジェクト)と呼ばれ、情報処理振興技術協会(IPA)における独創的情報技術育成事業に関わる開発テーマの一つとして、平成7年度より3年間の計画で精力的に活動を行ってきた。擬人化エージェント技術はさまざまな技術要素から構成されているが、本プロジェクトでは、この中で特に『顔』の役割に着目し、顔画像の認識・合成に関わる顔情報処理システムの開発に主眼をおいた。これと同時に、本システムでは工学のみならず心理学や医学などの分野も含めた顔関連分野における共通の実験用ツールを広く提供することも目標としている。本稿では、平成10年3月で終了するこのプロジェクトの概要と、共通ソフトウェアの紹介を行う。The aim of Advanced Agent Project, supported by Information Technology Promotion Agency (IPA), is to develop the image processing environment for analysis and synthesis of human facial images. This report is mainly concerned with an introduction of an overview of the project and the developed environment for the facial image processing.

著者

岸 啓補 森島 繁生

出版者

一般社団法人電子情報通信学会

雑誌

電子情報通信学会論文誌. D-II, 情報・システム, II-パターン処理 (ISSN:09151923)

巻号頁・発行日

vol.83, no.12, pp.2716-2724, 2000-12-25

被引用文献数

11

---

サイバースペースにおける仮想人物の合成やコミュニケーションシステムの実現に向け, コンピュータグラフィックスによる人物画像合成等が注目を集めている.本論文では, 特に人物のCGの中でも合成が難しいとされる頭髪の表現方法について述べる.人物画像において頭髪は視覚的に重要であるにもかかわらず, 簡単な曲面や背景の一部で代用されることが多い, 頭髪をマッピング技術を用いて表現する手法が成果をあげているが運動の表現には不適当である.そこで頭髪の表現にテクスチャやポリゴンを用いずに空間曲線を用いる.更に頭髪の部分的な集まりである房単位にモデル化することでヘアスタイルデザインを簡略化する.本論文では, この新しいヘアスタイルデザインシステム, 房のモデル化手法, レタリング手法, 4分岐法による衝突判定, 運動表現について述べる.また, 実際にこのヘアスタイルデザインシステムを用いて頭髪をデザインし, 風になびかせるアニメーションを実現した.

著者

内田 英子 四倉 達夫 森島 繁生 山田 寛 大谷 淳 赤松 茂

出版者

一般社団法人電子情報通信学会

雑誌

電子情報通信学会技術研究報告. HIP, ヒューマン情報処理 (ISSN:09135685)

巻号頁・発行日

vol.99, no.722, pp.1-6, 2000-03-21

被引用文献数

9

---

顔面表情に焦点をあて、意図的なコントロールを受けたものと、なんらかの情動喚起に伴い自発的に現れるものとの違い、特に動的な変化の違いを実験的に検討した。被験者の顔面表情の変化を次の2条件下で高速度カメラにより撮影した。1つが意図的表出(動作教示)条件、もう一つが自発的表出条件である。意図的表出条件では、顔面動作教示に従って被験者に6つの基本表情を演じさせた。一方、自発的表出条件では、情動喚起映像(喜び、驚き、怒り、悲しみ、嫌悪、恐れ)を提示し、被験者に自然な表情を自発させた。高速度カメラで撮影した顔面表情の動的変化(特徴点の変位)を、画像解析ツールを用いて測定した。

著者

坂口 竜己 森島 繁生 大谷 淳 岸野 文郎

出版者

一般社団法人電子情報通信学会

雑誌

電子情報通信学会技術研究報告. HC, ヒューマンコミュニケーション

巻号頁・発行日

vol.93, no.439, pp.61-68, 1994-01-26

被引用文献数

17

---

よりユーザフレンドリーなコンピュータとのコミュニケーション環境実現のため、顔表情動画像を用いたインタフェース構築の研究を進めている。筆者らはすでにモデルベース手法を応用した表情動画像の作成について提案しているが、この表情変形規則は2次元的な計測を基に作られたものであったため、満足な性能は得られていなかった。本稿では、顔表面の3次元計測により、各表情表出時の顔面皮膚の移動量を求め、新たな移度制御点(特徴点)の設定と移動規則の決定を行なっている。3次元計測では正面・側面画像を利用する手法を採用し、誤差±1.2%程度の精度を得ている。更に得られた特徴点位置についての測定結果よりFACSのAUの定量化を見直し、特徴点以外の点の補間法を検討してより自然な画像合成を行なっている。

著者

森島 繁生 八木 康史 中村 哲 伊勢 史郎 向川 康博 槇原 靖 間下 以大 近藤 一晃 榎本 成悟 川本 真一 四倉 達夫 池田 雄介 前島 謙宣 久保 尋之

出版者

一般社団法人電子情報通信学会

雑誌

電子情報通信学会誌 (ISSN:09135693)

巻号頁・発行日

vol.94, no.3, pp.250-268, 2011-03-01

---

映像コンテンツの全く新しい実現形態として,観客自身が映画等の登場人物となり,時には友人や家族と一緒にこの作品を鑑賞することによって,自身がストーリーへ深く没入し,かつてない感動を覚えたり,時にはヒロイズムに浸ることを実現可能とする技術「ダイブイントゥザムービー」について本稿で解説する.この実現には,観客に全く負担をかけることなく本人そっくりの個性を有する登場人物を自動生成する技術と,自ら映像中のストーリーに参加しているという感覚を満足するためのキャラクタ合成のクオリティ,映像シーンの環境に没入していると錯覚させる高品質な映像・音響再現技術及びその収録技術が,観客の感動の強さを決定する重要な要素となる.2005年の愛・地球博にて実証実験を行った「フユーチャーキャスト」に端を発するこの技術は,ハードウェアの進歩と2007年にスタートした文部科学省の支援による科学技術振興調整費プロジェクトの実施によって,格段の進歩を遂げた.その結果,様々なバリエーションの観客の個性を全自動・短時間でストレスなくモデル化することが可能となり,また作品の中でリアルタイム合成されるキャラクタの顔と全身,声に各入の個性を忠実に反映することが可能となった.また,同時に役者が感じた音場・視点で1人称的にコンテンツへの没入感を体感することを可能にするシステムを同時に実現した.

著者

山田 寛 内田 英子 四倉 達夫 森島 繁生 鉄谷 信二 赤松 茂

出版者

一般社団法人電子情報通信学会

雑誌

電子情報通信学会技術研究報告. HCS, ヒューマンコミュニケーション基礎 (ISSN:09135685)

巻号頁・発行日

vol.100, no.712, pp.27-34, 2001-03-14

被引用文献数

5

---

本研究では、人間が自然な表情を自発した時と普遍的で典型的と言われている表情を演じる時の顔の動きを高速度カメラで撮影し、顔の特徴点の変位の測定に基づいて顔の動きの定量的な特性を分析した。自然な表情は、Gross & Levens (1995)が標準化した情動喚起刺激を被験者に提示することによって自発させた。典型的な表情の演技は、FACSの定義に基づいた。自発表出条件、演技表出条件ともに顔の各部位の動き出しの差は微細であり高速度カメラを用いたことの有効性が示された。また情動ごとおよび表出条件ごとに顔の各部の動きの量や速さに特徴的な違いが認められたが、動きの変化そのものの様相には興味深い共通性が認められた。

著者

世良 元 岩澤 昭一郎 森島 繁生 Terzopoulos Demetri

出版者

一般社団法人電子情報通信学会

雑誌

電子情報通信学会技術研究報告. MVE, マルチメディア・仮想環境基礎

巻号頁・発行日

vol.95, no.553, pp.9-16, 1996-03-06

被引用文献数

2

---

ヒューマンインタフェースにおける擬人化エージェントの実現やエンタティメント映像生成に向けCGによる人物像の生成が望まれている。本稿では現実感の高い人の顔を表現することを目的として物理法則に基づく筋肉モデルを提案する。一方、人の表情を作成する研究は数多く見られるが、会話時の口形状に対しての研究は少ない。特に自然な会話のアニメーションの合成のため、口形状の表現に適した筋肉の種類と形状の改良を行った。また、実画像からの測定結果に基づき口形状の作成を行った。また音韻継続時間を考慮に入れ、音と同期したアニメーションを生成した。