サビを自動理解できる未来型音楽鑑賞を実現！後藤真孝

我ら“クレイジー☆エンジニア”主義　vol.29　世界初！音楽の工学的な分析に成功した後藤真孝
メロディ・サビを自動推定できる未来型音楽鑑賞を実現


	今回のクレイジーエンジニアは音楽情報処理、音楽情報検索の最先端研究で世界に知られる、産業技術総合研究所の後藤真孝氏だ。音楽情報をコンピュータに取り込んで解析、音を認識させる研究に取り組み、すでに「メロディ、ビート、サビなどの自動推定」に世界で初めて成功している。（取材・文／上阪徹　総研スタッフ／宮みゆき　撮影／栗原克己)作成日：08.05.14

産業技術総合研究所
情報技術研究部門　主任研究員

後藤真孝氏

　音楽圧縮技術と携帯型音楽プレーヤーの登場で、膨大な量の曲が持ち運びできるようになった。わずかな定額で500万を超える曲が聴き放題という音楽配信サービスも登場している。まさに今や好きな曲を好きなときに好きな場所で好きなだけ聴ける時代。そこで注目されているのが、音楽情報処理、音楽情報検索技術だ。この分野で世界的に知られる日本人研究者がいる。それが、後藤氏。
早稲田大学の電子通信学科村岡洋一研究室では初となった「音楽」を卒業論文のテーマに決めたのは、1992年。修士課程、博士課程、さらに産業技術総合研究所に籍を置き、16年にわたって音楽情報の研究に取り組んできた。信号処理やパターン認識といった技術を用いて、「メロディ、ビート、サビなどの自動推定」に世界で初めて成功、現在は応用研究に挑んでいる。科学技術分野の文部科学大臣表彰若手科学者賞、ドコモ・モバイル・サイエンス賞基礎科学部門優秀賞も受賞している。

　音楽情報処理や音楽情報検索分野には、今や世界中の研究機関や研究者が参入しています。2000年以降に世界で急増、音楽情報検索に限っても、2004年以降50人の新しいドクターが生まれています。背景にあるのは、この分野の重要性の増大です。音楽は産業、文化の面で主要なコンテンツですが、音楽を聴くユーザーにとっての鑑賞環境は激変しています。数百万曲を好きに聴く、なんてことはかつてありえなかった。音楽の情報検索や自動分類、推薦に対する潜在需要は非常に大きいものがあります。今後は、すべての音楽がデジタル化され、情報通信技術によって配信、検索、共有、創作、発信されるでしょう。そのための研究が世界中で進んでいるんです。

　そもそも音楽情報処理には、さまざまな技術的な課題、未解決で本質的な課題があります。複数の音が相互に関係し合いながら時間的な構造を形成して内容を伝える。そんな信号を理解する必要がある。いろんな音がまじる状況をどう分析し、どう内容を取り出すか。以前は科学技術が入っていない領域でした。

　私の所属する産業技術総合研究所（産総研）は、この分野で国内外に広く認知された研究拠点となっています。一連の「音楽音響信号」理解に関連した研究を展開。「人間が音楽を聴いてわかることをコンピュータにわからせる」基礎研究をはじめ、研究目的で自由に使える世界で最初の大規模な著作権処理済み音楽データベースなど、研究基盤整備にも取り組んできました。

　現在の研究テーマのひとつは、音楽音響信号理解技術が音楽の聴き方をいかに豊かにできるのかという応用研究、「能動的音楽鑑賞インターフェース」です。例えば音楽再生なら、楽曲構造を瞬時に視覚化する「音楽地図」を使って、サビ部分だけ再生する。それぞれの曲のビートを理解して、ビートに合わせてアニメが踊る。歌詞のテキストと同期させ、歌詞のどの個所からも曲が始められる……。さらには、音楽を加工したり、大量の音楽を検索、閲覧する新しい技術を発想する……。技術の進歩は、音楽を聴く楽しみをさらに大きくする可能性を秘めている。私はそう考えています。

　人生を大きく変えたのは、小学校6年生のときにコンピュータと出合ったことでした。友人の家で初めてNEC PC-8001に触れたんですが、プログラムで動くというのは、まさに衝撃でした。それこそ画面に名前を出したり、色をつけたりするだけでも楽しかった。

　BASICやZ80機械語でプログラミングしていましたが、PCに触れる時間が限られる私は、まずは紙に一生懸命ソースコードを書いて、それを持っていって実行していました。そんな私を見ていたんでしょう。中学生になるときに父がNEC PC-8801を買ってくれました。これも、人生を変える出来事でした。両親には本当に感謝しています。

　進学した中高一貫校では、物理部に入りました。工作やプラモデル、ハンダ付けなどモノづくりも好きだった私は、多くの刺激的な経験をしました。今も覚えているのは、中３のとき、高校生の先輩が作った設計図をもとに、Z80 CPUを使ったコンピュータ基板を自作したこと。これには、設計した先輩も「動いた！」と驚いて（笑）。

　その一方で、強い興味をもっていたのが音楽です。小４のとき、妹と一緒に親に通わされたピアノ教室は１年ほどでやめてしまったんですが、音を出すことには強い興味がありました。PCでも、ビープ音に始まって、PSG、FM音源、さらに中３のときにはYAMAHAポータトーンでMIDIによる自動演奏で遊んだり。物理部でも、アクリル板と衝撃センサーでドラムを自作したり、A/D変換、D/A変換でデジタルエフェクタを制作したり、文化祭では物理部バンドで自作楽器を使ったライブもやりました。

　そしてもうひとつ、高３から興味をもち始めるようになったのが、脳です。ニューラルネットワークの本などを自分で読み始めて。きっかけは、ホーガンのSF小説『未来の二つの顔』。テーマは人工知能。人間の脳と同じことをするコンピュータにものすごく興味をもった。そこで思ったんです。人間と同じことをやらせるには、人間を知らないといけない、と。

　そして大学の進学先を決めるとき、このキーワードが大きな決め手になります。音響関連とニューラルネットワーク。その両方の研究をしている大学があった。それが早稲田大学でした。もっとも音響の先生は、私の入学時に定年退職しちゃったんですが（笑）。

　大学では、コンピュータサークルと音楽サークル、テニスのサークルにも籍を置いていました。当時、ソニーが社会への利益還元のひとつとして24時間外部開放型の学生専用研究所を作っていまして。所属していたコンピュータサークルに声がかかったことで、大学2年からここにも出入りするようになりました。最新鋭のWSやらシンセサイザーやら、学生にとっては夢のような研究環境。しかも、いろんな大学の学生が来ていて。当時、知り合って今も第一線で活躍している研究者は多いです。この連載にもかつて登場された稲見昌彦先生もその一人。彼とは20歳前後からの付き合いなんです。

　大学の研究室は、入学前に興味をもっていたニューラルネットワーク研究をしていた研究室を選びました。それが村岡研究室でした。卒論のテーマにした音楽情報処理研究を本格的に始めたのは、大学4年から。本来、研究室は並列コンピュータがメインテーマなんですが、先生は研究テーマを決めるときにひと言。「君は何をやりたい？」と。コンピュータを使うなら何をやってもいい、と。そしてやりたいことを全力でサポートしてくださる。大事なのは何を研究するか、という問題を見つけること。問題を見つける努力をしなさい、というのが先生の考え方でした。実は問題を見つける能力を磨く機会は少ないんです。多くの学生は、課題や問題を人から与えられて生きてきたから。だからこそ、まず何をやりたいかを自分で考えなさい、と先生は強調された。この重要性は研究者になってから気づきました。

　私はいろいろ考えて、趣味のひとつである音楽でずっと思っていたことを告げました。音楽CDを再生しただけで自動的に楽譜が生成できたら、どんなに便利かと。もちろんそんなことは今もできませんが、自分のいちばん好きなドラムの音だけでもコンピュータ上に取り出すことはできないか、と。先生はこう言われました。「その技術がほしい人はいるのか」と。「ここは工学の研究室。ユーザーがいると信じるならやりなさい」と。工学の神髄は人のための技術。人のためになる技術を問う。それが先生のポリシーでした。

　そしてもうひとつ言われたのが、「それは世界初か」です。調べるのは大変でした。先輩は誰もいない。近しい研究をしている人もいない。図書館で過去10年分の論文を何日もかけて調べました。すると、ピアノの採譜研究はあったものの、ドラムはなかった。それで、音楽を専用装置でパソコンに取り込んで解析し、ドラム音を自動認識する研究を始めたんです。

■SmartMusicKIOSK

後藤氏が開発した能動的音楽鑑賞インターフェースのひとつが、「SmartMusicKIOSK」。現状、音楽鑑賞で多くの人が使っているインタラクションに、「次の曲への頭出し」ボタンを押し、興味のない曲を飛ばすという行動があるが、より能動的なインタラクションとして、「楽曲内部で興味のない個所を飛ばす」ことを可能にする。インターフェースとしての例は、CDショップにある音楽試聴機。これがサビ出し機能付きだったら、すぐに試聴でサビだけが聴ける、というものだ。
画像にあるのは「音楽地図」。周波数を瞬時に分析し、繰り返しの多いサビの自動推定に成功した自動サビ区間検出手法を用い、音楽の構成が、「似ている区間」「繰り返し区間」によって地図化される。赤部分がサビ。この地図を見ながら、再生位置を容易に変更できる。「SmartMusicKIOSK」が画期的なのは、曲の構造が見てわかること。音楽制作者の意外な意図もわかり、より音楽が楽しめるという。

■Cindy

最近では、メディアプレーヤー上での視覚エフェクトとして、波形やパワーと同期したアニメーションなどがビジュアライザとして用いられるようになった。これをより能動的なインタラクションとして開発したのが、「Cindy」。それぞれの曲のビートをコンピュータが読み取る自動ビートトラッキング手法を用いて、音楽のビートに完全に同期したアニメーションを画面上に映し出すことができる。ボタンを押すことで、踊りの動作系列を変更するなどのインタラクションを盛り込むことも可能。激しいリズムから、スローなリズムまで、曲に合わせてアニメが踊る。もともとの開発技術は自動ビートトラッキング手法だったが、これをより面白く見せるためにアニメをつけることを考えたのが、Cindy発想のベースになったという。

■LyricSynchronizer

歌詞を見たり、歌ったりしながら音楽を聴くのは、今もごく普通に行われていること。だが、印刷あるいは表示された歌詞は、そのときの再生位置を自分で目で追わなければならない。これをより能動的なインタラクションとして考えたのが、「LyricSynchronizer」。周波数を分析してメロディを自動的に推定する「自動ボーカル抽出」手法と、「歌詞同期」手法を用いて、「再生と同期して歌詞の色が変わる表示」を実現させた。一見、高精細なカラオケと思いきや、まったく違う。歌詞と楽曲が自動的な時刻同期をしているのだ。だから歌詞上の任意の単語をクリックすると、そこから楽曲を再生することができる。（藤原弘将氏、奥乃博氏との共同研究）

　後藤氏は音楽情報の研究に没頭。修士、博士課程、さらには産総研へと研究は続いた。当初のゴールは楽譜を作ることだったが、やがて違うと気づく。なぜなら音楽を聴くとき、人は楽譜を思い浮かべるわけではないからだ。もっと直接的に楽しみ、音楽の中身がわかるのが人。その過程には楽譜はない。しかし、音楽からいろんな情報を取り出してきたとき、それをどう記述し見せるか、が問われてくる。こうして研究アイデアは次々に浮かんでいった。
思わぬ「壁」は、むしろその特殊性にあった。今の鑑賞環境が予想だにできなかった当時は、音楽情報処理は、ともすれば遊びや趣味ととらえられかねなかったのだ。研究であることの説明に加え、後藤氏は研究者としてのプロ魂でそれにこたえる。最低でも、普通の2倍以上の成果を出すことを自らに課したのだ。論文も国際会議での発表も、人より2倍以上やろうと決め、実践した。しかも、走っている研究テーマは常に複数。待っていたのは、すさまじく多忙な日々だった。

　アウトプットから換算すると、かなりの仕事量だったかもしれません。論文締め切りが8週間連続で続いたこともあります。学会の人たちからは、「寝ていないんじゃないか｣「本当はロボットじゃないか」とよく言われました。そういえば結婚したときに、「実は人間だったんですね」と言った人もいましたね（笑）。

　大変なことはあっても、やめたくなるような苦労をしたことはありません。締め切りに追われるのも、自分が招いたこと。自分を追い込みながら、忙しい日々を楽しんでいるところが今もあります。そもそも他分野と比べて研究者も多くないし、分野の蓄積も浅い。何かをやるにも、すべて自分たちで行わなければなりません。それだけに、若手には足腰が強くなる分野です。そして自分に課題を課したおかげで、自分自身も強くなれたかもしれないと思っています。

　複数のテーマを走らせているのは別に理由もあるんです。全力で数週間、数カ月やって、もうやり尽くして先に進めない、行き詰まったということが研究にはあります。真剣にやればやるほど、それは起こり得る。そんなときには、ほかの研究テーマで“遊ぶ”んです。気分転換にもなるし、思わぬアイデアが浮かんできたりする。だから、複数のテーマを同時に進めるのが自分のポリシーなんです。

　もっというと、私は自分の置かれた状況の幸運を感謝しなければいけないと思っています。修士課程を修了するとき、就職するか、博士課程に進むかでずいぶん迷いました。就職したら面白い仕事ができたかもしれない。でも、音楽にかかわることができるとは限らない。私は、自分のやっていることをどうしても極めたかった。ただ、音楽情報処理の研究を終えて就職した人がほとんどいないことも事実でした。かなり狭き門です。私は幸運にも、音声研究も同時に行うことで産総研で研究を続けることができた。そして結果的に音声の研究は、音楽の研究に想像を超えるプラス効果も生んだんです。

　好きな研究ができて、これ以上何を求めるのか。小さな苦労に何をためらっているのか。忙しくてつらいなんて、贅沢すぎて言えない……。与えられた環境で最大限に頑張り、世の中に貢献するのは、プロの研究者の使命。私はそう思っています。

　音楽情報処理、音楽情報検索分野での研究テーマは、今も次々に浮かんできています。若手研究者に自分のアイデアを提供することも多いです。アイデアは一人のためではなく、世の中の発展のためにあるはずだからです。そもそもまだ若い分野。やっていないものは山ほどある。自分たちで思いつくものすべてを担うことはできません。ほかにできる人がいれば、やってもらったほうがいいんです。自分たちで1年かかるものが、2カ月でできるリソースをもつ人もいるわけですから。

　こうした分野全体での貢献、という発想がこれからは非常に大事になってくると私は思っています。たしかに個人の力は大きい。それは、予想よりはるかに大きいものがあります。しかし、個人には限界があります。24時間、365日という時間も超えられない。私たちのもっている夢は、それに対してあまりに大きいんです。

　ならば、いかに多くの人たちが力を合わせて夢を実現していくことができるか。競い合うより協調することのほうが重要だと思う。極論すれば、何かが達成できるのなら、自分たちが達成しなくてもいいんです。

　例えば、すごい成果が出てきたとき、悔しいと思うか、うれしいと思うか。もちろん研究者ですから、悔しさは必要。それは誰もがもつと思う。しかし、それで終わってしまったらあまりにもったいない。自分たちの分野でこんなすごいことができたんだ、分野全体から見ればうれしいことなんだ、ともっと思うべきです。おかげで自分はまた違うすごいことに挑むことができるんだ、と。

　仕事の成果は、「やる気×能力×時間」で決まると私は思っています。情熱と極める姿勢と努力です。でも、分野全体で同じことを考えれば、「やる気×能力×時間」×人数×コミュニケーション力という公式が成り立つ。ものすごい可能性になるんです。

　それこそ今は、科学技術そのものが、世の中への貢献を問われているのかもしれません。科学技術全体で何を達成できるかが、他分野から問われている。お互い刺激し合うことは大事。でも、不毛な競争には意味がないと思う。協調しながら、新しい未来をみんなでいかにつくれるか。それを考え、実践する時代が来ていると思うんです。

　今は世界中で研究者が拡大しているこの分野ですが、90年代は苦しい時代が続きました。音を認識し、理解する枠組みが貧弱だったからです。統計的手法も導入されていない、信号処理技術やパターン認識技術も未熟、実験するコンピュータのスピードも遅く、データベースもない。でも、今は大きく環境が変わった。

　2000年代からは、国際会議などで、世界中の研究者から声をかけられるようになりました。かなり早い時点から、私がこの分野の研究を始めていたからです。でも、それは先を見越して計算してできたようなことではない。たまたま時代の流れがついてきただけです。

　もっといえば私の場合、自分の欲しかったものに挑んできただけ、と思うんです。サビの部分だけを聴く、なんてのは、毎月のように大量にCDを買いに行っていた私が、試聴のときに早送りするのがとにかく面倒だったから、というのも大きい。実際、自分でサビ出しの機能を完成させたときには、うれしくて夜中に2時間くらいひとりで遊んでいましたから（笑）。

　その意味では、こうも言えるのかもしれません。自分が本当に必要だと思うものは、いつか世の中で必要になる、と。90年代の自分には確約はありませんでした。でも、本当に自分は欲しかった。その気持ちを大切にしたことが、今につながっているんだと思います。やっぱり大事なのは、自分の心から出てくる意欲なんです。

　研究者には3つの重要な能力が必要です。良い問題を発掘し、見極める問題発見能力。自分たちで解く必要があるかをすばやく判断し、できるだけよい道具で解けるよう最新の技術、実装を把握していく問題解決能力。そして、論文執筆しかりプレゼンテーションしかり、記憶に残る発表をするという対外発表能力。私は綿密な構成とリハーサルを行い、聴衆の印象を常に意識しています。

　でも、長期にわたってモチベーションを維持し続けるには、やっぱり自分の中に「火」をもやし続けられるかどうかだと思うんです。やる気があれば、能力、技術力を向上し続けられる。それは興味関心のもてる、自分の好きなことをやることだと、私は思っています。

　これからも意欲のある仲間たちとワイワイ楽しく研究をしていきたい。今、何よりもうれしいのは、若手がこの分野に次々と入ってきてくれていることです。本当に優秀な若手たちです。これから何が起きていくのか、私は将来が楽しみでしょうがないんです。

■Drumix

応用技術は、音楽再生のインターフェースだけでなく、音楽加工にも広がっている。例えば、Drumix。これまで、音楽鑑賞で加工といえば、音質調整つまみで高域と低域を大きくする、あるいはグラフィックイコライザーで調整するくらいしかなかった。そこで、より能動的なインタラクションとして開発したのが、「自動ドラム認識手法」と「自動ビートトラッキング手法」を用いて、ドラムパートの編集をすること。好みに応じて、バスドラムとスネアドラムの音量と音色を変更できてしまう。また、楽曲再生中にドラムパターンを容易に編集できてしまう。インターフェースとして考えられるのは、ドラムパートのリアルタイム編集機能付き音楽プレーヤーだ。画像は、バスドラムとスネアドラムの音量・音色変更パネル、ドラムパターン編集パネル。音楽を少し加工するだけで、印象はずいぶん変わるという。（吉井和佳氏、奥乃博氏との共同研究）

■Musicream

現在の商用オンライン音楽サービスは、曲名、アーティスト名、ジャンルなどの書誌情報に基づいて、楽曲検索や音楽コレクションの閲覧が行えるようになっている。しかし、数百万曲もの曲の中から、「書誌情報は知らないが聴いてみたい曲」との出合いは極めて難しい。そこで後藤氏が提案するのが「Musicream」。これは、音響信号から楽曲間の「類似度」を分析、類似度に基づいて能動的なインタラクションを行う仕組みだ。楽曲の閲覧、検索、発見、管理に使え、好みの楽曲と出合うことができる。画像右上の蛇口のようなものが、音楽の出口。アップテンポは赤、スローテンポは青などと決まっていて、気に入った楽曲を左のプレイリストに自分で取り込んでいける。曲順は自在、ソートも可能、曲の早飛ばしもできる。ユニークなのは、時間管理ができること。５分前に間違えて捨ててしまった音楽も取り戻せるし、過去に使ったすべての画面履歴が残っているので、「5年前のクリスマスに聴いた曲」などもすぐに取り出せる。（後藤孝行氏との共同研究）

■MusicRainbow

類似性を使って楽曲と出合うのではなく、アーティストと出会う。そんな音楽情報検索のインターフェースが「MusicRainbow」。音響信号に基づくアーティスト間の類似度、さらにはWebに基づいて自動ラベリングされたアーティストの属性を、円形のレインボーの上に表示する。円にはジャンルやアーティストなどが表示され、類似したアーティストは近くに配置され、円を回すことで、右端のアーティスト名が拡大されて出てくる仕組み。膨大な音楽情報を表の形で一覧表示するのは、限界がある。そこで円形というアイデアが取り入れられている。気に入ったアーティストの近くにいる類似度の高いアーティストと出会うことができる。（Elias Pampalk氏との共同研究）

後藤真孝

産業技術総合研究所
情報技術研究部門　主任研究員
筑波大学大学院　システム情報工学研究科　
准教授（連携大学院）

1970年、東京生まれ。93年、早稲田大学理工学部電子通信学科卒。98年、同大大学院理工学研究科博士後期課程修了。博士（工学）。電子技術総合研究所（2001年に独立行政法人産業技術総合研究所に改組）に入所。2000年から2003年までJSTさきがけ研究21研究員、2005年から筑波大学大学院准教授（連携大学院）、2008年から統計数理研究所客員准教授を兼任。科学技術分野の文部科学大臣表彰若手科学者賞、ドコモ・モバイル・サイエンス賞基礎科学部門優秀賞、情報処理学会論文賞など22件受賞。音楽情報処理、音声言語情報処理、マルチモーダルインタラクションなどに興味を持ち、音楽音響信号理解研究とその応用に取り組んでいる。

後藤真孝's Home Page
>> http://staff.aist.go.jp/m.goto/index-j.html

あなたを求める企業がある！

まずはリクナビNEXTの「スカウト」でチャンスを掴もう！

宮みゆき(総研スタッフ)からのメッセージ

プレゼンテーションを大切にしているという後藤さん。今回の取材のために、数十枚にわたるパワーポイントでの資料をご用意していただき、丁寧にご説明していただきました。私が特に気に入ったのは、やはりサビだけを抽出して聞くことのできる「SmartMusicKIOSK」。ライターの上阪さんは「MusicRainbow」がお気に入りのご様子でした。取材で感動するとすぐ製品を買っちゃうくせがある私。今回も実用化されてたら即購入間違いなしでした（笑）。