研究事例 (シンポジウム2008)

 CrestMuse プロジェクト研究成果中間報告ビデオ(movファイル)
 ≫Link
本ビデオを下記に掲載させて頂きました(2008年11月10日)

 デザイン転写・時系列メディア操作技術
デザイン分野,コンテンツプロダクションにおいては,具体的な目標事例を掲げてデザインイメージの伝達・共有をはかった上で、制作プロセスに入ることが少なくありません.CrestMuse プロジェクトでは,既存事例における意図的な逸脱の操作,転写方式に焦点を当てるというアプローチで,音楽のデザイン支援を実施する方式の開発に取り組んでいます.
「CrestMuseXML Toolkitを用いた音楽情報処理システム」
北原 鉄朗 、片寄 晴弘
(PDF)

これまで音楽情報処理の共通データ形式やフレームワークがなかったため,個々の音楽情報処理システムの実装に共通性がなく,組み合わせて再利用することは困難だった.本稿では,この現状を打破するために現在開発を進めている共通データ形式「CrestMuseXML」と汎用実装フレームワーク「CrestMuseXML Toolkit」を紹介する.
>>CrestMuseXML


「任意の歌詞から自動作曲する Orpheus」

深山 覚、嵯峨山 茂樹 体験デモ
(PDF)

コンピュータによる自動作曲は古今様々な方法で試みられているが、単に曲を作らせるというだけでは用いるアルゴリズムの自由度が高すぎ、その結果自動作曲システムの評価はシステムから生成される楽曲自体がおもしろいかどうかという、芸術的価値観に依らざるを得なかった。本システムでは自動作曲のアルゴリズムを、古典的な歌唱曲作曲において重要とされる「韻律に沿った旋律をつくる」という制約を満たすように設計し、生成された曲が制約を満たしているかを検証することで工学的に評価できる形で自動作曲を実現した。また作曲家にも評価を依頼し、音楽性についての評価も実施した。




「楽曲中の打楽器と調波楽器の音を分離する」

宮本 賢一、角尾 衣未留、嵯峨山 茂樹
(PDF)

本研究は、ポピュラー音楽などのモノラル音楽信号から、メロディーや伴奏等の楽器音成分とドラム等の打楽器的な楽器音成分を分離するものである。この分離手法は、打楽器やノイズを含んだ多声音楽で演奏される音高を推定するような楽音分析の前処理や、打楽器パートの強調、打楽器パターンの変更といった音楽の加工など、多くの応用が期待される。特に本研究では、メロディー楽器と打楽器音の音色の特徴に基づき、確率的なモデルを用いて、与えられた音楽を両者に分離するマスクを反復的に推定する手法を用いて、実時間分離システムを実現した。




「ビートパターンの地図を作る RhythmMap」
角尾 衣未留、嵯峨山 茂樹
(PDF)

本研究では、楽曲を構成する小節単位の打楽器パターンを抽出する事を目的とする。打楽器のみでなくメロディー等の様々な音が演奏される中、楽曲中で演奏される打楽器を最適に分割し、数種類の基本パターンに分類する。打楽器パターンの抽出はジャンル分類・認識や打楽器パートの入れ換え等の音楽の加工などの応用が期待される。本研究ではこれらの問題を解決する一つのアイディアとして、打楽器と調波楽器を分離し、連続音声の認識に用いられるアルゴリズム(One-pass DP)とクラスタリングアルゴリズムを組み合わせた打楽器パターン抽出手法を提案する。その結果、どの打楽器パターンがどの箇所で演奏されるかを示す地図を作る事ができる。



「TANDEM-STRAIGHT、そしてその先へ」
河原 英紀、森勢 将雅、高橋 徹、西村 竜一、坂野 秀樹、入野 俊夫
(PDF)

音声の自然で柔軟な加工を可能にするSTRAIGHTは、歌唱デザイン転写を実現するための基礎となる重要な技術である。2007年に発明されたTANDEM-STRAIGHTでは、このSTRAIGHTのアルゴリズムが根本的に書き換えられた。この発明は、コード量、計算量、調整すべきパラメタの数を大きく削減し、アルゴリズムを遥かに見通しの良いものとした。ここでは、TANDEM-STRAIGHTの背景にある幾つかの重要なアイデアを紹介し、それらがアルゴリズムと構造にどのような変化をもたらしたかについて説明する。また、この発明の応用へのインパクトと、今後検討すべき技術課題について説明する.
>>詳細情報

top

 コミュニティ・人
CrestMuse プロジェクトでは,研究のための研究で終わらないための実用性,関連領域における波及効果に関心をもって研究を進めています.そのためのキーワードが「コミュニティ・人間」です.音楽の認知・知覚モデルの考究、演奏・聴取・音楽デザインに関連した脳機能計測,演奏データベースや音楽情報処理開発用ツールキットの公開,計算機による表情付けコンテストの運営などを行っています.
「話声を歌声に自動変換する」
齋藤 毅、後藤 真孝
(PDF)

歌詞の朗読音声(話声)を歌声に自動変換する歌声合成システムを提案する.このシステムは,音声分析合成系STRAIGHTによる分析/合成処理過程において,基本周波数,スペクトル,音韻長を制御するモデルによって歌声特有の音響特徴を操作することで話声を歌声に変換する.従来の歌声合成システムに見られるテキストからの歌声合成ではなく,話声からの歌声合成という新しいアプローチを採用することで,高品質な歌声合成だけでなく,「歌詞を朗読するだけで自分の歌声を作り・聴くことができる」という新しい歌声情報処理を可能にした.更に,このシステムによる歌声合成を通じて,歌声を知覚する上で重要な音響特徴を明らかにした.

>>詳細情報

「音楽のムードを可視化する」
藤澤 隆史、谷 光彬、長田 典子、片寄 晴弘
(PDF)

本研究では,楽曲がもつムードの構成要素として個々の和音種がもつ独特の響き(和音性)に注目し,楽曲ムードを色彩で表現する可視化インタフェースの構築を行なった.和音性に関する定量的評価モデルを利用することで入力和音のムードを3つの成分へと分解し,それらを明度,彩度,色相へとそれぞれマッピングすることで出力される色彩を決定する.その結果,個々の和音がもつ微妙なニュアンスの違いを色彩の違いで表現することが可能となった.


「聞き方の違いを脳機能計測で確認する」
松井 淑恵、風井 浩志、片寄 晴弘
(PDF)


音楽家は、同じ音楽を聞いていても「コンクールの演奏審査をしているとき」と「音楽の構成をわかろうとしているとき」のように、"聞き方"を変化させることができる。本研究では、そのような"聞き方"の違いが脳の活動にどのように反映されているかを、fNIRS(機能的近赤外線分光法)を用いて計測した。計測結果から、「音楽の構成をわかろうとしているとき」に活動する部位は左半球の前頭前野の外側下部であることがわかった。同時に、前頭前野の背側部で活動の低下がみられた。耳から入ってくる音楽の違いだけでなく、音楽の"聞き方"という主観的な状態の違いによっても脳の活動が異なることが確認された。

「一流ピアニストによる打鍵動作の上肢運動制御」
古屋 晋一、片寄 晴弘、木下 博
(PDF)

一流ピアニストは、長時間演奏しても、どうして手や腕が疲れないのか?本研究は、その背景に隠された身体運動スキルについて紹介する。コンクール入賞歴のあるピアニスト7名と同数のピアノ初心者が、さまざまな音量でピアノの鍵盤を打鍵する際の、肩から指先までの運動を高速度カメラによって計測した。計測した身体運動情報にロボティクスの計算手法を用いることによって、打鍵動作中に肩、肘、手首、指関節に生じる「筋力」と、慣性力や遠心力、重力といった「筋力以外の力」を算出した。その結果、ピアニストは、筋力以外の力を効果的に利用することによって、打鍵時の筋肉の仕事量を軽減する熟練運動技能を獲得していることが明らかとなった。本研究は、「科学による音楽家への貢献」を目指して実施されたものであり、本研究結果は、ピアノ演奏や指導の現場に、表現支援や故障発症の予防の点から有意義な情報を提供する。


「ピアノ演奏動作のリアルタイムCG 表現」
釘本 望美、山本 和樹、武田 晴登、片寄 晴弘、長田 典子、巳波 弘佳
(PDF)

演奏動作は音楽演奏における重要なファクターの1つである.とりわけピアノ演奏動作の生成やCG表現技術の研究においては,これまでピアノ練習支援システムや演奏支援GUIなど機械的な指の動きを扱ったものが多く,動きのリアリティに着目した研究は少ない.本研究では,モーションキャプチャを用いてピアノ演奏時の手指の動きを獲得し,オフラインレンダリングによってリアルなピアノCGアニメーションを制作するとともに,リアルタイムレンダリングにより音楽インタフェースiFPと同期するGUIを構築する.

top

 能動的音楽鑑賞
ネットインフラの社会的な発展とともに,音楽コンテンツの流通の仕方も大きく変りつつ有り,新しい音楽聴取インタフェースが求められています.CestMuseプロジェクトでは,リスナーがより能動的に音楽に接する鑑賞スタイルの提供を念頭におき,システムの開発に取り組んでいます.「再生」「加工」「発見」の3つの基軸による能動的音楽鑑賞インタフェースの開発を進めています.

「ハイブリッド型音楽推薦システム」
吉井 和佳、後藤 真孝、奥乃 博
(PDF)

本稿では,「楽曲に対するユーザの評価」と「楽曲の音楽内容」とを同時に考慮できるハイブリッド型音楽推薦システムについて述べる.我々は開発当初より実用化を念頭におき,システムが備えるべき六つの要件1. Accuracy,2. Diversity,3. Coverage,4. Promptness,5. Adaptability,6. Scalabilityを設定した.従来の音楽推薦技術はユーザの評価か音楽内容か一方しか推薦に利用せず,要件1.・3.に関して一長一短があった.そこで我々は,両方のデータを確率モデルに基づいて統合することで,それらの要件を同時に満たすだけでなく,要件4.も併せて解決できた.さらに,推薦精度をほとんど低下させることなく確率モデルの学習コストを大幅に削減することに成功し,要件5および6.も解決した.実験の結果,推薦精度に関しても従来定評のあった手法と同等以上を達成することを確認した.

>>詳細情報

「似た歌声の曲を探す」
藤原 弘将、後藤 真孝
(PDF)

ボーカルの声質の類似度に基づく楽曲検索システムを開発した.本システムは,クエリとして与えられた楽曲と類似した声質を持つ楽曲を予め登録したデータベース中から検索する.本システムを実現するために,伴奏を含む音響信号中から伴奏音の影響を低減させ歌声の特性を表現する特徴ベクトルを抽出する手法と,相互情報量を用いて2 つの特徴ベクトル列間の類似度を計算する手法を開発した.本システムを実装し,約2000曲をデータベースに登録し運用することで,システムが正しく動作することを確認した.






「楽器別音楽イコライザー」

糸山 克寿、後藤 真孝、奥乃 博
(PDF)

楽器別音楽イコライザーとは,音楽音響信号を再生する際に,各楽器パートの音量バランスを操作することで好みのミックスバランスによる音楽鑑賞を実現するオーディオプレーヤーである.音響信号をその楽曲の楽譜(MIDIファイル)に基づいて楽器パートごとに分離することで.このような操作を実現する.混合音中にはピアノなどの調波音とドラムスなどの非調波音とが存在するため,これらを同時に扱うことのできる調波・非調波統合モデルを分離に用いる.

>>詳細情報

「音パレット:好きな音楽を好きな音色で」
安部 武宏、糸山 克寿、奥乃 博
(PDF)


音パレットは,ユーザーが欲している楽器音を楽曲から抽出し,楽曲を構成するのに必要な音高・音長を持つ楽器音を抽出した楽器音から合成することで,音色の置換を実現しています.音パレットでの音高・音長操作は,操作の対象となる楽器音の音色特徴量を分析することによって音色の歪みに対処しています.ユーザーは好みの楽器音を各楽器パートに指定することで,好きな楽曲を好きな音色で演奏させることができます.
>>詳細情報
top

 Directability
デザイン支援において,ユーザに行き過ぎた自動化処理を強いてしまうとかえって使いづらいものとなってしまいます.CrestMuse プロジェクトでは「デザイン転写技術」の開発を進める一方で,参照事例を絵の具のように混ぜ合わせたり,特徴の部分をこね回したりといった操作が直接結果となって反映されるような音楽のインタフェース(= directable music interface)の開発にも取り組んでいます。
「名演を用いて演奏をデザインする」
橋田 光代、片寄 晴弘
(PDF)

演奏生成システムを使って演奏表情作りを行うユーザにとって,操作が手軽であり,洗練された演奏事例(ライブラリ)を使え,さらに必要に応じてユーザの“細部へのこだわり”を反映させられることが,完成品の出来栄えにもかかわる重要な要素である.ここでは,洗練された名演奏の事例を参照しつつ,自分なりの演奏表現を,音楽構造も意識して作り込みできるシステムMixtractを展示する.

>>RENCON
>>CrestMusePEDB

「指揮者になった気分で名演を楽しむ」
橋本 祐輔、馬場 隆、橋田 光代、片寄 晴弘
(PDF)

「Conducting Program (指揮プログラム)を用いることで,演奏者は指運びを気にすることなく,演奏表現で最も重要なフレージング,テンポ表現・音量表現に集中できる.」これは,Max Mathewsが Radio Baton の説明をする際に語った言葉である.ここでは,演奏表情データベース(MIDIレベル)対応の指揮システム iFP.MJと,音響信号を対象とした指揮システム AiiM の展示を行う.タイプの異なる二つの指揮システムで能動的音楽鑑賞の世界を体験して頂きたい.


「ユーザ歌唱を真似て歌声合成する」
中野 倫靖、後藤 真孝
(PDF)

本研究では,歌声合成を使用した音楽制作を支援するために,ユーザの歌唱音声から歌声合成パラメータを自動推定するシステムVocaListener を実現した.従来,ユーザの歌唱音声から,音高や音量等を推定して歌声合成パラメータとする研究はあったが,歌声合成の条件(歌声合成システムやその音源データ) の違いに対してロバストでなく,入力歌唱を真似るだけでは,ユーザの歌唱力を超えることが出来ないという問題もあった.そこでVocaListener では,合成された歌唱が入力歌唱と近くなるように,合成パラメータを反復更新することで,上記の条件の変化へ対処する.さらに,入力歌唱に対して,音高のずれやビブラートなどの歌唱要素を修正できる支援機能も提供する.

>>詳細情報

「歌声を混ぜるインタフェース」
森勢 将雅、片寄 晴弘、河原 英紀
(PDF)

音声分析変換合成法STRAIGHTを用いた歌唱モーフィングを,実時間で動作するインタフェースとして実装した.歌唱のモーフィングでは,歌声を「声質」「歌い回し」へと分離し,2歌手の各特徴を混ぜることができる.感情のモーフィングでは,1名の歌手が「喜」「怒」「哀」について歌った歌唱をモーフィングすることにより,3感情を自由な比率で混合できる.これらのモーフィング率を再生中でもリアルタイムで変更することができるインタフェースを紹介する.シンポジウム会場では,素人,プロ歌手,合成システムで作られた合成歌唱を混ぜることで,どのような歌声が生み出されるか体験して頂きたい.

>>V.MORISH
top
以上の研究事例については一部、本プロジェクトに先立って実施されている内容も含まれています。