著者

石先広海 舟澤慎太郎 帆足啓一郎 小野 智弘 甲藤二郎

雑誌

情報処理学会論文誌 (ISSN:18827764)

巻号頁・発行日

vol.54, no.4, pp.1263-1274, 2013-04-15

---

本研究ではユーザが入力した楽曲に対して,楽曲の歌詞に基づいて検索したWeb画像と楽曲を同期させて再生するスライドショー生成システムについて提案する.楽曲歌詞の内容に適した画像を楽曲と同期させて再生することで,楽曲の情景表現を向上させ,より印象深い音楽体験の実現を目指す.具体的には,歌詞中の単語と,歌詞から推定した全体印象語から最適な画像検索クエリを抽出し,表示候補となる画像をWeb上から取得する.取得した画像に付与されているソーシャルタグと全体印象語の適合度を用いることで,歌詞の各行と連動して表示させる画像を選定する.さらに,歌詞の各行を表示する時間の最頻値を利用してスライドショー再生時の画像切替えを自動化する.最終的に,被験者評価実験により本システムの有効性を示す.

著者

石先広海 舟澤慎太郎 帆足啓一郎 小野 智弘 甲藤二郎

雑誌

情報処理学会論文誌 (ISSN:18827764)

巻号頁・発行日

vol.54, no.4, pp.1263-1274, 2013-04-15

---

本研究ではユーザが入力した楽曲に対して,楽曲の歌詞に基づいて検索したWeb画像と楽曲を同期させて再生するスライドショー生成システムについて提案する.楽曲歌詞の内容に適した画像を楽曲と同期させて再生することで,楽曲の情景表現を向上させ,より印象深い音楽体験の実現を目指す.具体的には,歌詞中の単語と,歌詞から推定した全体印象語から最適な画像検索クエリを抽出し,表示候補となる画像をWeb上から取得する.取得した画像に付与されているソーシャルタグと全体印象語の適合度を用いることで,歌詞の各行と連動して表示させる画像を選定する.さらに,歌詞の各行を表示する時間の最頻値を利用してスライドショー再生時の画像切替えを自動化する.最終的に,被験者評価実験により本システムの有効性を示す.In this paper, we propose a system to generate slide shows for music which users selected, by utilizing Web images retrieved by queries constructed from song lyrics. The proposed system aims to provide new and impressive user experiences by using synchronized Web images with lyrics line. First, we propose a method to select images to compose the slideshow from the result of Web image retrieval based on queries extracted from lyrics. The system selects matched images with the whole impression of lyrics and removes images which have many social tags not related to the image content. Furthermore, we propose a method to adjust presentation periods of the images in the slides. Finally, subjective experiments are conducted to evaluate effectiveness of our system.

著者

舟澤慎太郎 北市 健太郎 甲藤二郎

出版者

一般社団法人情報処理学会

雑誌

情報処理学会研究報告オーディオビジュアル複合情報処理(AVM) (ISSN:09196072)

巻号頁・発行日

vol.2008, no.22, pp.1-5, 2008-03-06

被引用文献数

1

---

本稿では,楽曲の音響的特徴と歌詞情報を利用した類似楽曲検索手法を述べる.典型的なContent-based楽曲検索において,楽曲の特徴はベクトルで表現され,それらの類似度を基に検索をする.この際に,楽曲の特徴ベクトルを構成する要素には,"ユーザが楽曲から受ける印象に影響を与える特徴量"を用いることで,対応できる検索要求の幅を広げ,検索精度の向上につながる.そこで本稿では,楽曲波形から得られる音響的特徴量に加えて,歌詞情報を特徴量として利用する.そして,ユーザによる評価実験を行い,この手法の有効性を評価した.This paper presents similar music retrieval that uses acoustic features and lyrics features of musical pieces. In typical content-based music retrieval, the features of music pieces are expressed by vectors, and music pieces are retrieved based on their similarities. When generating the features vectors, using "features that influence impression that users receive from music" as elements improves retrieval accuracy. Therefore, in this paper, we use lyrics features in addition to acoustic features that are extracted from music signals. Furthermore, we estimate the efficacy of this music retrieval method by a subjective evaluation experiment.