著者

嵯峨山 茂樹 川本 真一 下平 博 新田 恒雄 西本 卓也 中村 哲 伊藤 克亘 森島 繁生 四倉 達夫 甲斐 充彦 李晃伸 山下 洋一 小林 隆夫 徳田 恵一 広瀬 啓吉 峯松 信明 山田 篤 伝 康晴 宇津呂 武仁

出版者

一般社団法人情報処理学会

雑誌

情報処理学会研究報告音声言語情報処理(SLP) (ISSN:09196072)

巻号頁・発行日

vol.2003, no.14, pp.57-64, 2003-02-07

参考文献数

24

被引用文献数

42

---

筆者らが開発した擬人化音声対話エージェントのツールキット``Galatea''についてその概要を述べる。主要な機能は音声認識、音声合成、顔画像合成であり、これらの機能を統合して、対話制御の下で動作させるものである。研究のプラットフォームとして利用されることを想定してカスタマイズ可能性を重視した結果、顔画像が容易に交換可能で、音声合成が話者適応可能で、対話制御の記述変更が容易で、更にこれらの機能モジュール自体を別のモジュールに差し替えることが容易であり、かつ処理ハードウェアの個数に柔軟に対処できるなどの特徴を持つシステムとなった。この成果はソース公開し、一般に無償使用許諾する予定である。This paper describes the outline of "Galatea," a software toolkit of anthropomorphic spoken dialog agent developed by the authors. Major functions such as speech recognition, speech synthesis and face animation generation are integrated and controlled under a dialog control. To emphasize customizability as the dialog research platform, this system features easily replaceable face, speaker-adaptive speech synthesis, easily modification of dialog control script, exchangeable function modules, and multi-processor capability. This toolkit is to be released shortly to prospective users with an open-source and license-free policy.

著者

岩尾 知頼 三間 大輔 久保 尋之 前島 謙宣 森島 繁生

出版者

一般社団法人 画像電子学会

雑誌

画像電子学会誌 (ISSN:02859831)

巻号頁・発行日

vol.42, no.5, pp.661-670, 2013 (Released:2015-11-06)

参考文献数

14

---

写実的なキャラクタアニメーションの実現のためには眼球運動を正しく再現することが重要である.しかしながら現在は,キャラクタの対話時の眼球運動を再現する際にアーティストの手作業による作りこみが必要となるため,多大なコストや労力がかかることが問題である.そこで本研究では人間の対話時の眼球運動に着目し,計測結果を基に眼球運動と瞬きを確率関数を用いてモデル化することで,眼球運動を自動生成する.まず,瞬きを含む対話時の眼球運動と固視微動とをそれぞれ計測する.次に,計測結果を基に対話時の眼球運動を跳躍運動と固視微動に分類する.さらに分類された跳躍運動と固視微動及び瞬きを,それぞれ確率モデルを用いて近似した後に,それらの確率モデルをキャラクタに適用することにより,リアルな眼球運動の自動生成を可能とした.

著者

久保 尋之 土橋 宜典 津田 順平 森島 繁生

雑誌

研究報告 グラフィクスとCAD(CG)

巻号頁・発行日

vol.2011-CG-143, no.2, pp.1-6, 2011-06-20

---

人間の肌のような半透明物体のリアルな質感を再現するためには、表面下散乱を考慮して描画することが必要不可欠である。そこで本研究では半透明物体の高速描画を目的とし、曲率に依存する反射関数 (CDRF) を提案する。実際の映像作品ではキャラクタの肌はそれぞれに特徴的で誇張した表現手法がとられるため、本研究では材質の散乱特性の調整だけでなく、曲率自体を強調する手法を導入することで、表面下散乱の影響が誇張された印象的な肌を表現可能なスキンシェーダを実現する。

著者

中塚 貴之 森島 繁生

雑誌

第78回全国大会講演論文集

巻号頁・発行日

vol.2016, no.1, pp.187-188, 2016-03-10

---

CG映像における効果音の多くは実際の音を録音したものが使用されている. しかし, 実録に基づく効果音の作成には多くの労力を要するため, シミュレーション環境下で効果音を生成することに対する需要は高い. 本研究では, 効果音の中でも身近な摩擦音を物体の運動シミュレーションに基づいて生成することを目的とする. 提案手法では,近似モデルを用いて物体表面が他物体と接触する時に生じる弾性変形を表現する.弾性変形によって物体表面の振動が形成する音圧分布の空間伝播に基づき摩擦音を生成する.さらに, 近似モデルのパラメタを調整することにより, CG映像の見た目の印象に合致した摩擦音の生成を可能とする.

著者

室伏 空 中野 倫靖 後藤 真孝 森島 繁生

出版者

情報処理学会

雑誌

研究報告音楽情報科学(MUS) (ISSN:09196072)

巻号頁・発行日

vol.2009, no.21, pp.1-7, 2009-07-22

被引用文献数

1

---

本研究では、既存のダンス動画コンテンツの複数の動画像を分割して連結(切り貼り)することで、音楽に合ったダンス動画を自動生成するシステムを提案する。従来、切り貼りに基づいた動画の自動生成に関する研究はあったが、音楽{映像間の多様な関係性を対応付ける研究はなかった。本システムでは、そうした多様な関係性をモデル化するために、Web 上で公開されている二次創作された大量のコンテンツを利用し、クラスタリングと複数の線形回帰モデルを用いることで音楽に合う映像の素片を選択する。その際、音楽{映像間の関係だけでなく、生成される動画の時間的連続性や音楽的構造もコストとして考慮することで、動画像の生成をビタビ探索によるコスト最小化問題として解いた。This paper presents a system that automatically generates a dance video clip appropriate to music by segmenting and concatenating existing dance video clips. Although there were previous works on automatic music video creation, they did not support various associations between music and video. To model such various associations, our system uses a large amount of fan-fiction content on the web, and selects video segments appropriate to music by using linear regression models for multiple clusters. By introducing costs representing temporal continuity and music structure of the generated video clip as well as associations between music and video, this video creation problem is solved by minimizing the costs by Viterbi search.

著者

山口 周悟 古澤 知英 福里 司 森島 繁生

雑誌

研究報告グラフィクスとCAD(CG)

巻号頁・発行日

vol.2015, no.14, pp.1-6, 2015-02-20

---

手描きアニメーション制作において、背景画像の作成は多大な労力を必要とする.そこで本研究では,実写の風景画像をアニメ背景画像へ自動変換する手法を提案する.提案手法では,各アニメータの個性的な "色使い","輪郭","ブラシの塗り方" を再現するために,アニメ作品中の風景画像の特徴を任意の実写風景画像に転写する.各領域の色調,塗り方の違いを考慮することで,従来研究で不十分であった輪郭の保持と,各領域の特徴を考慮した転写の両立を可能とした.

著者

武藤淳一 藤井 英史 森島 繁生

雑誌

情報処理学会研究報告コンピュータビジョンとイメージメディア(CVIM)

巻号頁・発行日

vol.1998, no.26(1997-CVIM-110), pp.49-56, 1998-03-19

---

空間周波数成分を用いて顔表情の認識と再合成を実時間で行うシステムを提案する。画像から自動的にトラッキングされた目・口周辺の正方領域について、高速フーリエ変換を実時間で行い空間周波数成分を求める。次にこの帝域パワーから顔器官の形状、ここではFACSに基づくAUのパラメータ値をニューラルネットワークを用いて推定する。実際にこの推定結果から、顔表情を再合成して原画像との印象を比較した結果、学習には用いていない表情に対しても、原画像と類似した印象を再合成することが可能となった。これにより、瞬きや口の開き、目の開き工合などが忠実にトラッキングすることができる。したがって、マーカー等を顔面に添付することなく、非装着、非接着で表情の印象レベルでのモーションキャプチャを実現することが可能となった。

著者

朝比奈 わかな 岡田 成美 岩本 尚也 増田 太郎 福里 司 森島 繁生

雑誌

研究報告音楽情報科学(MUS)

巻号頁・発行日

vol.2015, no.23, pp.1-6, 2015-02-23

---

近年,3DCG 制作ツール (MikuMikuDance 等) の普及により,楽曲に合わせて CG キャラクタを踊らせる動画作品が増加傾向にある.このようなダンス動画においてキャラクタの表情は作品全体の印象に大きく影響する.例えば,楽曲やダンスモーションの印象と全く異なる印象の表情を付与した場合,その動画は違和感のある作品となってしまう.また,楽曲の印象が一定でも,ダンスモーションの激しさの度合いやキャラクタの姿勢などによって,印象が大きく左右される場合がある.そのため,作品の印象を決定する要素として,楽曲の印象だけでなく,ダンスモーションの情報も考慮する必要がある.そこで我々は,ダンス動画の印象についての主観評価実験に基づき,音響特徴量とモーション特徴量を用いて重回帰分析を行うことで,ダンスモーションにシンクロした楽曲印象推定を可能にした.

著者

長谷川 修 森島 繁生 金子 正秀

出版者

一般社団法人電子情報通信学会

雑誌

電子情報通信学会論文誌. D-II, 情報・システム, II-情報処理 (ISSN:09151923)

巻号頁・発行日

vol.80, no.8, pp.2047-2065, 1997-08-25

被引用文献数

68

---

「顔」は人間にとって非常に身近な存在であると共に, 顔の持ち主である一人一人の人間における個人的な情報, コミュニケーションに係わる情報を始めとした, 言語的手段では表現しにくいようなさまざまな情報を担っている. 近年, 工学分野では主としてコミュニケーションメディアやヒューマンインタフェースへの応用の観点から,「顔」の工学的取扱いに対する研究が活発に行われている. 具体的には, ユーザである人間を対象とした視覚機能をコンピュータにもたせるための顔の認識技術と, コンピュータあるいはコミュニケーションメディアに表現力豊かな顔をもたせるための顔の合成技術である. これらの研究成果は, 従来個別に検討が行われていた顔関連の心理学, 人類学, 美容, 歯科等さまざまな分野においても活用されつつある. 本論文では, このような観点からコンピュータによる顔情報処理に焦点を当て, まず要素技術としての顔画像合成と表情認識について最近の技術動向を概観する. 次に,「顔」の諸特性について考察した後に, 人と人との対面コミュニケーションの支援, 人と機械との間の顔情報を介したコミュニケーションという二つの立場から「顔」の工学的応用について述べる. また,「顔」情報処理の研究のためのツールやデータベース等についても紹介する.

著者

風間 祥介 杉崎 英嗣 森島 繁生

出版者

一般社団法人電子情報通信学会

雑誌

電子情報通信学会総合大会講演論文集

巻号頁・発行日

vol.2006, no.2, 2006-03-08

著者

長谷川 裕記 前島 謙宣 森島 繁生

雑誌

研究報告音楽情報科学(MUS)

巻号頁・発行日

vol.2011, no.20, pp.1-6, 2011-07-20

---

本研究では動画に付随するアノテーション情報とユーザーが指定した情報に基き、画像に描写されているターゲット要素の特徴を機械学習することによって、データベース内の動画選択を行い音楽にマッチしたダンス動画を自動生成するシステムを構築した。画像内の輪郭特徴を表す特徴量、アノテーション情報を表す動画コンテンツに割り振られたタグ情報を用いて画像内容推定を行っており、先行研究より画像内の構図を考慮したダンス動画生成ができ、ユーザーがシステムを利用する際の自由度を上げる事が可能となった。This paper presents a system that automatically generates a dance video clip appropriate to music by segmenting and concatenating existing dance video clips. This system is based on machine learning for annotation and features of image. We create system can consider what object draw in the image, so user can control system more flexible than prior study. Because we use features express shape of object in image, and annotation attended videos in internet to guess what draw in the image.

著者

赤堀 渉 平井 辰典 森島 繁生

雑誌

研究報告エンタテインメントコンピューティング(EC) (ISSN:21888914)

巻号頁・発行日

vol.2015-EC-38, no.8, pp.1-6, 2015-12-04

---

本稿では,字幕付き映像における視線移動の少ない字幕配置法を提案する.従来の画面端に固定された字幕では,映像で視線が集中する領域と字幕が離れている場合に視線移動が増えるため,映像を満足に鑑賞することができなかった.既存研究では,映像内容の理解度の向上のために動的に字幕を配置したが,字幕なし映像のどこに視線が集まるかを考慮していないため,字幕に視線が誘導され映像を集中して鑑賞することができなかった.そこで本研究では,字幕付き映像における新たな字幕配置方法を提案する.提案手法では,字幕なし映像に対して視線が集中する領域と字幕が重なることを避けるため,複数人の視線情報を測定し映像において視線が集まりやすい領域を算出する.その後,鑑賞者の字幕に対する認知的な負荷を考慮するため,字幕配置のルールとして注目される領域の下部に固定して字幕を配置する.また,評価実験により提案手法の有効性を示した.

著者

森島 繁生

出版者

一般社団法人 映像情報メディア学会

雑誌

映像情報メディア学会技術報告 (ISSN:13426893)

巻号頁・発行日

vol.23, pp.61-68, 1999

参考文献数

12

---

Recently computer can make cyberspace to walk through by an interactive virtual reality technique. An avatar in cyberspace can bring us a virtual face-to-face communication environment. In this paper, an avatar is realized which has a real face in cyberspace and a multi-user communication system is constructed by voice transmission through network. Voice from microphone is transmitted and analyzed, then mouth shape and facial expression of avatar are synchronously estimated and synthesized on real time. And also an entertainment application of a real-time voice driven synthetic face is introduced and this is an example of interactive movie. Finally, face motion capture system using physics based face model is introduced.

著者

パーベル サフキン 桑原 大樹 川井 正英 加藤 卓哉 森島 繁生

雑誌

第77回全国大会講演論文集

巻号頁・発行日

vol.2015, no.1, pp.111-112, 2015-03-17

---

犯罪者や行方不明者の捜索において,対象者の過去・未来の顔を推定する経年変化顔合成技術が必要とされている.その中で,皺は人物の経年変化後の印象を決める重要な要素となっている.そこで本稿では,皺の発生が表情による皮膚の歪みに起因するという知見に基づき,皺の個人性を考慮した経年変化顔画像を合成する手法を提案する.本手法では,まず笑顔画像の表情皺から入力人物の皺の発生位置と形状を推定する.その後,同一環境で撮影された年齢別の顔画像データベースを用いて顔を再構成することで経年変化顔画像の合成を行う.本手法は,従来手法では考慮できなかった皺の個人性を実現し,より正確な経年変化顔の合成を実現した.

著者

川本 真一 足立 吉広 大谷 大和 四倉 達夫 森島 繁生 中村 哲

出版者

情報処理学会

雑誌

情報処理学会論文誌 (ISSN:18827764)

巻号頁・発行日

vol.51, no.2, pp.250-264, 2010-02-15

被引用文献数

2

---

視聴者の顔をCGで再現し,CGキャラクタとして映画に登場させるFuture Cast System(FCS)を改良し,視聴者から収録した少量の音声サンプルを用いて,視聴者に似た台詞音声を生成するため複数手法を統合し,生成された台詞音声をシーンに合わせて同期再生することで,視聴者の声の特徴をキャラクタに反映させるシステムを提案する.話者データベースから視聴者と声が似た話者を選択する手法(類似話者選択技術)と,複数話者音声を混合することで視聴者の声に似た音声を生成する手法(音声モーフィング技術)を組み合わせたシステムを構築し,複数処理を並列化することで,上映準備時間の要求条件を満たした.実環境を想定してBGM/SEを重畳した音声によって,従来手法である類似話者選択技術より得られる音声と,提案法で導入した音声モーフィング技術より得られる音声を主観評価実験により評価した結果,Preference Scoreで56.5%のモーフィング音声が目標話者の音声に似ていると判断され,音声モーフィングを組み合わせることでシステムが出力する台詞音声の話者類似性を改善できることを示した.In this paper, we propose an improved Future Cast System (FCS) that enables anyone to be a movie star while retaining their individuality in terms of how they look and how they sound. The proposed system produces voices that are significantly matched to their targets by integrating the results of multiple methods: similar speaker selection and voice morphing. After assigning one CG character to the audience, the system produces voices in synchronization with the CG character's movement. We constructed the speech synchronization system using a voice actor database with 60 different kinds of voices. Our system achieved higher voice similarity than conventional systems; the preference score of our system was 56.5% over other conventional systems.

著者

森島 繁生 稲見 昌彦 野嶋 琢也 暦本 純一 小池 英樹 持丸 正明

出版者

早稲田大学

雑誌

基盤研究(A)

巻号頁・発行日

2019-04-01

---

従来のVR/AR等,Cyber空間に関連する最先端研究においては, 空間の拡張・歪曲が主な研究課題となっており, 情報空間の時間軸自体を歪曲させる研究はあまり例がなかった. 空間だけでなく時間をも主観的に違和感なく歪曲させた現実歪曲時空間内での経験や訓練がPhysical世界での人の行動・知覚に与える影響を調査することが本研究課題である. 具体的な研究対象として,スポーツ,語学訓練等を例に取りあげ,具体的な現実歪曲時空間構成技術の確立および評価システム構築を行い,時間を歪曲されたCyber世界での経験や訓練の成果が,Physical世界にフィードバックされる効果を検証することが研究目的である.

著者

森島 繁生

出版者

一般社団法人情報処理学会

雑誌

情報処理学会研究報告コンピュータビジョンとイメージメディア(CVIM) (ISSN:09196072)

巻号頁・発行日

vol.2003, no.66, pp.107-114, 2003-07-03

参考文献数

29

被引用文献数

1

---

近年バーチャルヒューマンのアプリケーションとして、エンタテインメントシステムやコミュニケーションシステムが注目されている。ここではいかに人物を忠実にコピーして合成するかが課題であるが、ビジョンベースのシステムは性能に限界があり、クオリティの高い合成画像を再現することは難しい。モーションキャプチャシステムは、映画やゲームの世界で一般的に利用されるが、オンラインで合成することは難しく、後処理で多くのマニュアル操作が必要とされるのが現状である。本稿では、特に顔のアクションを高い忠実度と自然なクオリティでコピーすることを目的とし、顔画像分析・合成技術を駆使して、準リアルタイムでバーチャルヒューマンを制御する手法について述べる。さらにエンタテインメントおよびコミュニケーションを目的とするアプリケーションシステムを紹介する。Copying human action accurately is main scheme in entertainment or communication application to control and generate a virtual human in a screen. Motion capture system is generally used to generate a crone human in the scene of motion picture or interactive game, however, huge manual operation at post processing is inevitable to generate high quality image. In this paper, especially copying facial action is focused on and high quality and accurate method to generate and copy natural impression of face with semi-interactive process using face image analysis and synthesis scheme. Finally, some application systems in entertainment area are introduced.

著者

野澤 直樹 桑原 大樹 森島 繁生

雑誌

第77回全国大会講演論文集

巻号頁・発行日

vol.2015, no.1, pp.525-526, 2015-03-17

---

本研究では監視カメラなどから得られる斜め向きの顔画像からの3次元形状復元手法を提案する.従来手法として動画を入力とするものが多く提案されているが,フレームレートの低いカメラの場合,顔の写ったフレームが非常に少ないため,動画を入力とする手法には適用限界がある.また画像一枚を入力とする手法は顔の特徴点情報を用いているが,斜めを向いた際に生じる特有の情報を活用しきれていなかった. そこで本研究では入力を単一の斜め向きの顔画像とする.その上で入力顔画像の顔特徴点と頬のシルエット情報,更に形状の顔らしさというものを考慮し,既存研究では課題の残る条件下での3次元顔形状復元を試みる.

著者

平井 辰典 大矢隼士 森島 繁生

雑誌

情報処理学会論文誌 (ISSN:18827764)

巻号頁・発行日

vol.54, no.4, pp.1254-1262, 2013-04-15

---

本論文では,任意の入力楽曲を基に,既存の音楽動画コンテンツを再利用し,音楽と映像が同期した音楽動画を自動生成するシステムを提案する.本研究では,まずシステムの土台となる音楽と映像の同期手法を主観評価実験により検討した.その結果に基づき,音のエネルギーを表すRMSの変化に,映像のアクセント(明滅や動きなど)を対応させるような音楽動画自動生成システムを実装した.音楽動画の自動生成の手順は以下のとおりである.まずデータベースの構築として既存の音楽動画の各フレームにおける明滅,動きに関する映像特徴量の計算を行う.そして,動画生成として,入力楽曲のRMSを抽出し,その推移に最も近い推移を示す映像特徴量を持つ音楽動画の素片をデータベースから探索し,それらの映像を切り貼りすることで,音楽に最も同期した音楽動画の生成を行う.また,本システムによる生成動画の評価も行った.

著者

長谷川 修 森島 繁生 金子 正秀

出版者

一般社団法人電子情報通信学会

雑誌

電子情報通信学会論文誌. A, 基礎・境界 (ISSN:09135707)

巻号頁・発行日

vol.80, no.8, pp.1231-1249, 1997-08-25

参考文献数

76

被引用文献数

46

---

「顔」は人間にとって非常に身近な存在であると共に, 顔の持ち主である一人一人の人間における個人的な情報, コミュニケーションに係わる情報を始めとした, 言語的手段では表現しにくいようなさまざまな情報を担っている. 近年, 工学分野では主としてコミュニケーションメディアやヒューマンインタフェースへの応用の観点から,「顔」の工学的取扱いに対する研究が活発に行われている. 具体的には, ユーザである人間を対象とした視覚機能をコンピュータにもたせるための顔の認識技術と, コンピュータあるいはコミュニケーションメディアに表現力豊かな顔をもたせるための顔の合成技術である. これらの研究成果は, 従来個別に検討が行われていた顔関連の心理学, 人類学, 美容, 歯科等さまざまな分野においても活用されつつある. 本論文では, このような観点からコンピュータによる顔情報処理に焦点を当て, まず要素技術としての顔画像合成と表情認識について最近の技術動向を概観する. 次に,「顔」の諸特性について考察した後に, 人と人との対面コミュニケーションの支援, 人と機械との間の顔情報を介したコミュニケーションという二つの立場から「顔」の工学的応用について述べる. また,「顔」情報処理の研究のためのツールやデータベース等についても紹介する.