東京大学大学院情報理工学系研究科の猿渡・小山研究室の高道慎之介助教らの研究チームは、東映㈱ツークン研究所からの受託研究で、歌手の松任谷由実さんが50年前にデビューした当時の歌声を人工再現する技術を開発した。
今回研究グループは、1970年代から80年代にマルチトラック収録された松任谷由実さんのヴォーカルデータから声情報処理技術と機械学習技術を用いて、当時の声色と歌唱表現を忠実に再現することに成功した。
この研究によって再現された歌声はデビュー当時のアーティスト名「荒井由実」として、松任谷由実さんの現在の歌声とデュエットを行う。このデュエットは10月1日に楽曲「Call me back」のミュージックビデオ(MV)として YouTubeで一般公開された。
今回の研究成果の活用で、今後、過去の歌声・音声データと現在の文化との相互作用による歌謡の新たな創作方法や鑑賞方法が生まれることが期待される。
新たな文化生み出す源に
直近50年の日本の歌謡文化を振り返ると、1970年代から80年代のニューミュージックブームを経て、90年代からはJ‐POPが人気を博している。この間、日本の歌謡曲は欧米の歌謡文化にリアルタイムに影響されることで発展し、ニューミュージックや、日本独自のJ‐POP文化が形成されてきた。
このように、文化間の作用は新たな文化を生み出すことに貢献するが、現存する過去の音資料は限定的であることから、数少ない貴重な音資料を、現代の音質で再現することができれば、現代を生きる者にとっても、過去の歌謡文化を知り、新たな文化を生み出す源ともなることが期待される。
高道慎之介助教、丹治尚子学術専門職員、研究室所属の学生が起業したParakeet㈱から構成される研究グループは、音声情報処理と機械学習を専門としており、音声や歌声を高精度に再現する合成変換技術と、合成変換技術に資する音声・歌声データ設計技術を中心に研究してきた。
今回研究グループは、松任谷由実さんの50年前の歌声を人工的に再現することを目的に研究を開始。松任谷由実さんは、ニューミュージック時代からJ‐POP全盛期の現代でも第一線で活躍し続ける音楽家だが、現存するデビュー当時の音資料は限定的で、また当然ながら歌声再現を目的とした資料ではないため、従来の情報工学技術では再現が困難だった。
この問題解決のため、研究グループは①多段階合成変換タスク混合学習アルゴリズムと、②実データに利用可能なデータ編集・枝刈り法(機械学習に不要なデータを半自動的に削除する方法)を使った手法を提案した。