メカブ(メカPのブロマガ)
【解説】アイマスアカペラ音源の作り方
2019-02-20 22:07:07
アイマスアカペラ音源の作り方をまとめてみました。
きれいなアイマスアカペラを作って楽しい人力ライフを送ろう!
(※追記有り)
曲との相性も有るものの、かなり綺麗に抜けます。
デメリットはwebサービス系は1曲変換するのに150~400円かかることですが、
コマンドプロンプト操作に抵抗が無ければspleeterというフリーウェアの選択肢も有ります。

※◎、○、△は抽出クオリティの目安。
どんな曲にも使えます。最強。
Lantisレーベルでカラオケ音源が少ないミリ、M、シャニで特に真価を発揮するでしょう。
リンク:PhonicMind - AI Online Vocal Remover that WORKS!
それ以外だとKoeKestra(こえけすとら)とか。
リンク:ボーカル除去・抽出 - KoeKestra
DAW界隈ではiZotope RX7のMusic Rebalanceというのも有名みたいです。
原理が機械学習なのかどうかはわかりませんでしたが、使えれば無問題。
リンク:iZotope RX7のMusic Rebalanceで2mixから音を抽出する方法! | Rock oN Company
上記3つは有料ですが、フリーで使えるspleeter(スプリーター)というのもあります。
リンク:音楽データからボーカル・ドラム・ベースの音を個別に抽出できる「spleeter」 - GIGAZINE
何曲か使ってみた感じ、抜け具合が文句ないレベルな上処理速度がWebサービス系より断然早いので使わない手は無いという感想。
難点はコマンドベースのUIでとっつきにくい点ですが、そこさえクリアできれば他の②~⑥の手法が不要になるまであるかも。
導入手順はややこしかったですが、以下私が成功した方法メモです。
(※ファラオPのツイートを参考にしました。ありがとうございます!)
通常音源からカラオケ音源を引けば、ボーカルが残ります。
ほとんどの楽曲で綺麗に抜けてノイズも乗りません。

※◎、○、△は抽出クオリティの目安。
コロムビアからCDが出ている765AS, DS, シンデレラはほぼ全ての楽曲にカラオケが有り、アカペラ作成に困りません。
ランティスからCDが出ているミリオン、SIDEM、シャニマスはカラオケ有り曲が少ない上、有ったところでゲームサイズだったりソロパートは少なかったりで厳しい状況。
ミリオンは③の共通曲差分抽出が強いのであまり頼る必要は無いです。
SIDEM、シャニマスは他の方法も有るものの貴重な音源なので重宝します。
シャニマスはANIUTAというLANTISの配信サービスでカラオケが手に入ります。
月額課金だけど最初の1ヶ月は無料利用出来るのでご検討を。
歌声りっぷの詳細情報 : VECTOR ソフトを探す!
おすすめ設定はこんな感じ。


イントロが無く出だしからボーカルが始まる曲はイントロ解析が上手くいかないことが有るので、AUDACITY等でオンボーカルとオフボーカルのタイミングを揃えた音源を作ってイントロ解析無しで試してみましょう。
コーラスが残ったら詳細設定の中央定位抽出をオンに。
シャリシャリが残ったらAUDACITYのノイズ除去とかで除去。
参考記事:【完全初心者向け】アイマスREMIXをやってみよう!入門編①【全部無料で】:LEGOのブロマガ - ブロマガ
カラオケが無くても、同じ曲に複数のボーカル音源が有れば抽出できる方法です。
原理は④の中央定位抽出の応用で、例えば
「おねシン(卯月)とおねシン(凛)で共通の音」=おねシンのオケを抽出します。
オケを抽出できれば②カラオケ差分抽出同様、綺麗にアカペラが抜けます。
デメリットは手間の多さ。
LANTISレーベルでカラオケ音源が少ないミリ、M、シャニで特に真価を発揮するでしょう。

※◎、○、△は抽出クオリティの目安。
765ASは他にいくらでも方法は有るので使うメリットは少なめ。DSは使いどころ無し。
シンデレラはおねシンのみソロ音源が有る子のアカペラを取得するのに重宝します。
(マイナー用途だけどNATION BLUEなどカラオケとソロでミックスが違う曲がたま~に有るのでそういう曲にも有効)
ミリオンは('19年7月現在)ミリシタの歌い分け曲がゲームサイズながら6曲も有り、かなりリッチに。
SIDEMとシャニはソロコレで使え、全キャラでフル尺のソロアカペラが手に入ります。
ソロパートは少ないながらドアラやSPREAD THE WINGS!!等のユニット歌い分け曲に使えるのも嬉しいところ。
動画では説明を省略していますが、
シャニマス音源は同じ曲でも何故かPPM単位で曲のテンポが違うので
冒頭にタイミング合わせて作ると後半に行くほどノイズが大きくなります。
このため、出サビ/1Aメロ/1Bメロ/1サビ/2Aメロ/2Bメロ……という風に区切って
それぞれの区切りでタイミングを合わせたほうがいいです。

(例)バベルシティ・グレイスのプロジェクトファイル。
赤矢印の箇所で区切ってタイミングを微調整している。
[追記]シャニマス曲を抽出する際の対処法を記事にしました。

出展:音きりすの凄さを皆さんにお伝えしたい:NO.1Pのブロマガ(仮) - ブロマガ
世のステレオ音源は大体ボーカルをモノラル成分にしているのでこれで抜けます。
ステレオ音源ならどんな曲でも使えますが
コーラスや伴奏(特に打楽器)がノイズとして乗るのが結構痛いデメリットです。
曲によりけりで期待するとがっかりすることが多いのでダメ元の位置づけ。

※◎、○、△は抽出クオリティの目安。
765AS, DS, デレ等のコロムビア曲ならカラオケ差分抽出が有るので出番無し。
ミリオン、SIDEM、シャニマスも他のベターな手法が有るのでメインで使うの機会は少ないです。
ただ、他の抽出方法で残ったコーラスを除去するのには便利。
おすすめ設定はこんな感じ。音が籠もってたら波形を見ながら左右と奥行きを広げていく。

参考記事:音きりすの凄さを皆さんにお伝えしたい:NO.1Pのブロマガ(仮) - ブロマガ
ボーカルリデューサーも原理はこれ。
ボーカルキャンセラーは、1はこれで、2は全く異なるアルゴリズムだそうですが詳細はわかりませんでした。
ともあれ音きりすがおすすめです。
リンク:KAKU-TAILに参加しました。(+ちょっとした技術的なお話):人力ボカロのイロハの「ロ」 - ブロマガ

※◎、○、△は抽出クオリティの目安。
'19年7月現在、曲の音量とボーカルの音量を個別に設定できるのは765ASのコンシューマソフトのみ。よって765AS限定の方法です。
無印~アイマス2くらいまではニコニコの「アイマスアカペラ」タグでこの手法のアカペラ動画を大量に上げてくれる人が居ました。先達の苦労に感謝感謝。
リンク:人気の「アイマスアカペラ」動画 714本 - ニコニコ動画

※◎、○、△は抽出クオリティの目安。
765ASのコンシューマーソフト、デレステのおねシン、ミリシタの歌い分け曲。
要するにゲーム内部にアカペラ音源が有るやつ。
[追記]デレステのおねシンはアカペラではなく伴奏付きのデータになっているらしいとの情報提供有り。真偽は確認できていませんが、裏取り不足の記載だったのでデータ抽出については取り下げます。

※◎、○、△は抽出クオリティの目安。
最近の歌い方がいいなら最近のCDでカラオケ差分抽出かな。
DSはカラオケ差分抽出一択。
ライブ限定CDが有れば選択肢がリッチになる。炎陣ソロ音源とか。
ソロCD曲が無い子はユニット曲のソロパートでカラオケ差分抽出と、
おねシン使った共通曲差分抽出か、データ抽出。
[追記]デレステのおねシンはアカペラではなく伴奏付きのデータになっているらしいとの情報提供有り。真偽は確認できていませんが、裏取り不足の記載だったのでデータ抽出については取り下げます。
ゲームサイズながら6曲も有り、平均するとシンデレラより音数揃えやすい印象。
ただ収録年がバラけているので曲ごとに歌い方が違うアイドルも多い。
必要に応じて他の方法を補完的に使っていけばよさそう。
・ソロ曲を機械学習抽出とか
・ライブ限定ソロコレCDのソロ音源同士で共通曲差分抽出とか
・ミリシタのイベ曲のオフボーカルでカラオケ差分抽出とか
特にワケミニが全員ソロでフル尺手に入るので大変助かります。
ドアラ、REASON、MEET THE WORLDはユニット別が多数あるので共通曲差分抽出も可能。
ライブ限定ソロコレCDが有れば共通曲差分抽出でフル尺のソロ音源が手に入るのが嬉しいです。
機械学習は課金ORコマンドプロンプト操作に抵抗が無ければ。
ライブ限定ソロコレCDの共通曲差分抽出でフル尺ソロアカペラが手に入ってようやくスタートラインというレベル。
ソロコレ有っても不足を感じるので、ANIUTA音源のカラオケ差分抽出や、STW/AEの共通曲差分抽出の活用も必要そう。機械学習抽出は課金ORコマンドプロンプト操作に抵抗が無ければ。
あと、共通曲差分抽出がメインになるのにPPMレベルのズレ調整が必要なのも大変……。
きれいなアイマスアカペラを作って楽しい人力ライフを送ろう!(再掲)
きれいなアイマスアカペラを作って楽しい人力ライフを送ろう!
(※追記有り)
①機械学習抽出
★解説
強い(確信)。ディープラーニングでアカペラとカラオケを分離するPhonicMind、おセムで試してみたけど高品質すぎる。これもう人力出来ない曲無くなるな??? pic.twitter.com/PGXZ89EpTL
— メカP(あ・ゆ・サ・具) (@mekapi) 2019年6月7日
曲との相性も有るものの、かなり綺麗に抜けます。
デメリットはwebサービス系は1曲変換するのに150~400円かかることですが、
コマンドプロンプト操作に抵抗が無ければspleeterというフリーウェアの選択肢も有ります。
★使い所

※◎、○、△は抽出クオリティの目安。
どんな曲にも使えます。最強。
Lantisレーベルでカラオケ音源が少ないミリ、M、シャニで特に真価を発揮するでしょう。
★代表的なツール
いくつか有るようですが、自分はPhonicMind(フォニックマインド)を使っていますいました。リンク:PhonicMind - AI Online Vocal Remover that WORKS!
それ以外だとKoeKestra(こえけすとら)とか。
リンク:ボーカル除去・抽出 - KoeKestra
DAW界隈ではiZotope RX7のMusic Rebalanceというのも有名みたいです。
原理が機械学習なのかどうかはわかりませんでしたが、使えれば無問題。
リンク:iZotope RX7のMusic Rebalanceで2mixから音を抽出する方法! | Rock oN Company
上記3つは有料ですが、フリーで使えるspleeter(スプリーター)というのもあります。
リンク:音楽データからボーカル・ドラム・ベースの音を個別に抽出できる「spleeter」 - GIGAZINE
何曲か使ってみた感じ、抜け具合が文句ないレベルな上処理速度がWebサービス系より断然早いので使わない手は無いという感想。
難点はコマンドベースのUIでとっつきにくい点ですが、そこさえクリアできれば他の②~⑥の手法が不要になるまであるかも。
導入手順はややこしかったですが、以下私が成功した方法メモです。
(※ファラオPのツイートを参考にしました。ありがとうございます!)
- Git for Windowsをインストール (■参考)
- Minicondaをインストール (■参考) ※以下全てMinicondaでの操作
- "git clone https://github.com/sigsep/spleeter-musdb spleeter"
- "conda install -c conda-forge spleeter" →途中[y]/nの選択肢でy。
- "conda env create -f spleeter/conda/spleeter-cpu.yaml" →カーソル点滅で固まるのでMinicondaを再起動
- "conda activate spleeter-cpu"
- "cd spleeter"
- "python -m spleeter separate -i audio_example.mp3 -o audio_output" →C:SERS�SSユーザー名)SPLEETERUDIO_OUTPUTUDIO_EXAMPLEにテスト音源のカラオケが出力されていれば成功。
②カラオケ差分抽出
★解説
一番一般的な方法。通常音源からカラオケ音源を引けば、ボーカルが残ります。
ほとんどの楽曲で綺麗に抜けてノイズも乗りません。
★使い所

※◎、○、△は抽出クオリティの目安。
コロムビアからCDが出ている765AS, DS, シンデレラはほぼ全ての楽曲にカラオケが有り、アカペラ作成に困りません。
ランティスからCDが出ているミリオン、SIDEM、シャニマスはカラオケ有り曲が少ない上、有ったところでゲームサイズだったりソロパートは少なかったりで厳しい状況。
ミリオンは③の共通曲差分抽出が強いのであまり頼る必要は無いです。
SIDEM、シャニマスは他の方法も有るものの貴重な音源なので重宝します。
シャニマスはANIUTAというLANTISの配信サービスでカラオケが手に入ります。
月額課金だけど最初の1ヶ月は無料利用出来るのでご検討を。
★代表的なツール
フリーソフトの歌声りっぷが最強です。歌声りっぷの詳細情報 : VECTOR ソフトを探す!
おすすめ設定はこんな感じ。


イントロが無く出だしからボーカルが始まる曲はイントロ解析が上手くいかないことが有るので、AUDACITY等でオンボーカルとオフボーカルのタイミングを揃えた音源を作ってイントロ解析無しで試してみましょう。
コーラスが残ったら詳細設定の中央定位抽出をオンに。
シャリシャリが残ったらAUDACITYのノイズ除去とかで除去。
参考記事:【完全初心者向け】アイマスREMIXをやってみよう!入門編①【全部無料で】:LEGOのブロマガ - ブロマガ
★使用例
③共通曲差分抽出
★解説
こちらの方法はくらわんPに教えていただきました。カラオケが無くても、同じ曲に複数のボーカル音源が有れば抽出できる方法です。
原理は④の中央定位抽出の応用で、例えば
「おねシン(卯月)とおねシン(凛)で共通の音」=おねシンのオケを抽出します。
オケを抽出できれば②カラオケ差分抽出同様、綺麗にアカペラが抜けます。
デメリットは手間の多さ。
LANTISレーベルでカラオケ音源が少ないミリ、M、シャニで特に真価を発揮するでしょう。
★使いどころ

※◎、○、△は抽出クオリティの目安。
765ASは他にいくらでも方法は有るので使うメリットは少なめ。DSは使いどころ無し。
シンデレラはおねシンのみソロ音源が有る子のアカペラを取得するのに重宝します。
(マイナー用途だけどNATION BLUEなどカラオケとソロでミックスが違う曲がたま~に有るのでそういう曲にも有効)
ミリオンは('19年7月現在)ミリシタの歌い分け曲がゲームサイズながら6曲も有り、かなりリッチに。
SIDEMとシャニはソロコレで使え、全キャラでフル尺のソロアカペラが手に入ります。
ソロパートは少ないながらドアラやSPREAD THE WINGS!!等のユニット歌い分け曲に使えるのも嬉しいところ。
★手順
解説動画を上げたのでこちらをご覧ください。動画では説明を省略していますが、
シャニマス音源は同じ曲でも何故かPPM単位で曲のテンポが違うので
冒頭にタイミング合わせて作ると後半に行くほどノイズが大きくなります。
このため、出サビ/1Aメロ/1Bメロ/1サビ/2Aメロ/2Bメロ……という風に区切って
それぞれの区切りでタイミングを合わせたほうがいいです。

(例)バベルシティ・グレイスのプロジェクトファイル。
赤矢印の箇所で区切ってタイミングを微調整している。
[追記]シャニマス曲を抽出する際の対処法を記事にしました。
シャニマス曲を共通曲差分抽出でアカペラ抽出する際の対処法メモHTTPS://CH.NICOVIDEO.JP/MEKAPI/BLOMAGA/AR1881602
★使用例
④中央定位抽出

出展:音きりすの凄さを皆さんにお伝えしたい:NO.1Pのブロマガ(仮) - ブロマガ
★解説
ステレオ音源からモノラル成分(左右で同じ波形の音)を抽出する方法です。世のステレオ音源は大体ボーカルをモノラル成分にしているのでこれで抜けます。
ステレオ音源ならどんな曲でも使えますが
コーラスや伴奏(特に打楽器)がノイズとして乗るのが結構痛いデメリットです。
曲によりけりで期待するとがっかりすることが多いのでダメ元の位置づけ。
★使いどころ

※◎、○、△は抽出クオリティの目安。
765AS, DS, デレ等のコロムビア曲ならカラオケ差分抽出が有るので出番無し。
ミリオン、SIDEM、シャニマスも他のベターな手法が有るのでメインで使うの機会は少ないです。
ただ、他の抽出方法で残ったコーラスを除去するのには便利。
★代表的なツール
フリーソフトの音きりすが最強です。音きりすの詳細情報 : VECTOR ソフトを探す!おすすめ設定はこんな感じ。音が籠もってたら波形を見ながら左右と奥行きを広げていく。

参考記事:音きりすの凄さを皆さんにお伝えしたい:NO.1Pのブロマガ(仮) - ブロマガ
ボーカルリデューサーも原理はこれ。
ボーカルキャンセラーは、1はこれで、2は全く異なるアルゴリズムだそうですが詳細はわかりませんでした。
ともあれ音きりすがおすすめです。
★使用例
⑤音量差分抽出
★解説と手順
2番Pが記事を書いてくれたので詳しくはそちらを。リンク:KAKU-TAILに参加しました。(+ちょっとした技術的なお話):人力ボカロのイロハの「ロ」 - ブロマガ
★使いどころ

※◎、○、△は抽出クオリティの目安。
'19年7月現在、曲の音量とボーカルの音量を個別に設定できるのは765ASのコンシューマソフトのみ。よって765AS限定の方法です。
無印~アイマス2くらいまではニコニコの「アイマスアカペラ」タグでこの手法のアカペラ動画を大量に上げてくれる人が居ました。先達の苦労に感謝感謝。
リンク:人気の「アイマスアカペラ」動画 714本 - ニコニコ動画
★使用例
⑥データ抽出(リッピング)
★解説
ゲーム内部データからアカペラを直接抜き出す、おおっぴらにやると怒られそうなやつ。
コンシューマーソフトだとリッピング、デレステ・ミリシタはキャッシュファイルからの抽出でしょうか。
ノイズが乗らないので綺麗さでは随一。これが出来るなら③④⑤はほぼ要らない。
デメリットはデータ抽出の難易度です。あと諸々のリスク。推奨はしません。
★使い所

※◎、○、△は抽出クオリティの目安。
765ASのコンシューマーソフト、デレステのおねシン、ミリシタの歌い分け曲。
要するにゲーム内部にアカペラ音源が有るやつ。
[追記]デレステのおねシンはアカペラではなく伴奏付きのデータになっているらしいとの情報提供有り。真偽は確認できていませんが、裏取り不足の記載だったのでデータ抽出については取り下げます。
★代表的なツール、手順
手を出していないので解説できず。★使用例
無しコンテンツ別方針
コンテンツごとの方針をまとめるとこんな感じです。
※◎、○、△は抽出クオリティの目安。
765AS, DS
765パイセンは何使ってもOKです。最近の歌い方がいいなら最近のCDでカラオケ差分抽出かな。
DSはカラオケ差分抽出一択。
シンデレラ
ソロCDのカラオケ音源が充実しているのでカラオケ差分抽出が基本です。ライブ限定CDが有れば選択肢がリッチになる。炎陣ソロ音源とか。
ソロCD曲が無い子はユニット曲のソロパートでカラオケ差分抽出と、
おねシン使った共通曲差分抽出か、データ抽出。
[追記]デレステのおねシンはアカペラではなく伴奏付きのデータになっているらしいとの情報提供有り。真偽は確認できていませんが、裏取り不足の記載だったのでデータ抽出については取り下げます。
ミリオンライブ
ミリシタの歌い分け曲を共通曲差分抽出かデータ抽出するのがメインです。ゲームサイズながら6曲も有り、平均するとシンデレラより音数揃えやすい印象。
ただ収録年がバラけているので曲ごとに歌い方が違うアイドルも多い。
必要に応じて他の方法を補完的に使っていけばよさそう。
・ソロ曲を機械学習抽出とか
・ライブ限定ソロコレCDのソロ音源同士で共通曲差分抽出とか
・ミリシタのイベ曲のオフボーカルでカラオケ差分抽出とか
SIDEM
アニメ曲にワートレ曲にワケミニ曲と、LANTISの割に意外とカラオケ差分抽出できる曲が多いです。特にワケミニが全員ソロでフル尺手に入るので大変助かります。
ドアラ、REASON、MEET THE WORLDはユニット別が多数あるので共通曲差分抽出も可能。
ライブ限定ソロコレCDが有れば共通曲差分抽出でフル尺のソロ音源が手に入るのが嬉しいです。
機械学習は課金ORコマンドプロンプト操作に抵抗が無ければ。
シャイニーカラーズ
まだまだ曲数少なくて辛いです。ライブ限定ソロコレCDの共通曲差分抽出でフル尺ソロアカペラが手に入ってようやくスタートラインというレベル。
ソロコレ有っても不足を感じるので、ANIUTA音源のカラオケ差分抽出や、STW/AEの共通曲差分抽出の活用も必要そう。機械学習抽出は課金ORコマンドプロンプト操作に抵抗が無ければ。
あと、共通曲差分抽出がメインになるのにPPMレベルのズレ調整が必要なのも大変……。
おわりに
他にもこんな方法有るよ、というのが有ればぜひ教えてくださいM(_ _)Mきれいなアイマスアカペラを作って楽しい人力ライフを送ろう!(再掲)