著者

吉井 和佳 後藤 真孝

出版者

情報処理学会

雑誌

研究報告音楽情報科学(MUS) (ISSN:09196072)

巻号頁・発行日

vol.2009, no.20, pp.1-6, 2009-07-22

被引用文献数

1

---

本稿では,楽曲のライムライン上の適切な時刻に適切なコメントを自動付与するシステム MusicCommentator について述べる.近年,ユーザが動画全体に対してではなく,動画中のある時刻に対してコメントできるオンライン動画共有サービスが人気を博している.本研究では,音楽演奏の動画に含まれる音楽音響信号を対象とし,音響的特徴量とコメント特徴量との確率的同時生成モデルを提案する.システムはまず,多くの楽曲とそれに付与されたコメントから確率モデルを学習する.その後,別の楽曲が入力として与えられた場合に,どの時刻に対して,どのような単語を用いてどのくらいの長さのコメントを新たに付与できるかを確率モデルを用いて推定する.このとき,言語的制約として単語間の連接を考慮し,文の合成をおこなう.実験の結果,入力楽曲の音響的特徴量だけを用いてコメント生成した時に比べ,すでに付与されたコメントを参考にしてコメント生成を行うと精度が向上することがわかった.This paper presents a system called MusicCommentator that suggests suitable comments for appropriate temporal positions in a music clip. Recently, an online video sharing service in which users can provide comments for temporal events occurring in video clips not for entire clips has gained a lot of popularity. We focus on musical audio signals included in video clips of music performances and propose a probabilistic model that jointly generates acoustic features and comment features. The model can be trained by using many music clips and their corresponding comments. Given a new clip as input, the system then determines appropriate temporal positions of comments and estimates their content and length. Finally, comment sentences are generated by taking word concatenations into account as language constraints. Our experimental results showed that comment accuracy was improved when the system used not only acoustic features of an input clip but also users' comments in the clip.