【RVC WebUIの使い方】ボーカルリムーバー編:AIボイスチェンジャー用学習データセット作成のためのボーカルと音楽の分離

【RVC WebUIの使い方】ボーカルリムーバー編:AIボイスチェンジャー用学習データセット作成のためのボーカルと音楽の分離

 

【動画で解説】現代の魔法:RVC WebUIの使い方
– UVR5の学習モデルでボーカルリムーバー編
RVC WebUI – How to use Vocal Remover UVR5

 

 

【RVC WebUI活用術】ボーカルリムーバーの使い方:
AIボイスチェンジャー用学習データセット作成のためのボーカルと音楽の分離入門


視聴時間:8分45秒

RVC WebUIのボーカルリムーバーの使い方を動画でまとめておきました。
RVC WebUIでUVR5(Ultimate Vocal Remover v5)の学習モデルを活用したボーカルリムーバーの使い方がわからずにお困り中の方の参考になることがありましたら幸いです。

 




 

【RVC WebUIのチュートリアル動画の内容】

0:00 はじめに
1:01 RVC WebUI起動編
2:17 コードの実行
3:25 データセットなどの準備
8:10 RVC WebUIの起動
8:30 RVC WebUIの使い方編
9:13 データセットの学習
15:04 推論(AIボイスチェンジ)
21:59 最後に

 

複数のファイル(「楽器の音声ファイル」と「ボーカル抽出の音声ファイル」の両方)がダウンロードできない場合には、こちらの動画を参照ください。
【対応例】RVC WebUIで困った… 複数ファイルをダウンロードできない。Google Chrome編 by RehabC – デジタルで、遊ぶ。(YouTube動画)
視聴時間:4分
「対応例①:ブラウザの設定」「対応例②:Googleドライブに移動」などの対応例をまとめておきました。

 

動画で紹介している各種リンク・ボーカルリムーバーサンプル音源

 

 

RVC WebUI:
RVC-Project(旧liujing04)/Retrieval-based-Voice-Conversion-WebUI(The MIT License)| GitHub

日本人向けのRVC WebUIのチュートリアルコード:
RVC-WebUI-for-Japanese-AI-beginners.ipynb(The MIT License)| Google Colaboratory


チュートリアルでは、1つの音源から、人の声と楽器演奏を分離しています。
尚、音源で利用している人の声の音声素材は、こちらの音声から一部抜粋・編集させていただきました。

ボーカルリムーバーを試す用の声素材元:
Kyubyong/css10(Apache-2.0 license)| GitHub

 

 

簡単解説:RVC WebUI – Accompaniment and vocal separation(ボーカルリムーバー)

 

 

Accompaniment and vocal separation
(音楽の伴奏とボーカルの音声を分離)
ボーカルリムーバー(音源から楽器音と人の声を分離する処理)のことです。

 

人声伴奏分离批量处理, 使用UVR5模型.
不带和声用HP2, 带和声且提取的人声不需要和声用HP

Batch processing of vocal accompaniment separation, using UVR5 model.
Without harmony, use HP2, with harmony and extracted vocals do not need harmony, use HP5

(UVR5学習モデルを使用した、ボーカルと伴奏の分離のバッチ処理。HP2は、ハーモニーなしで使用、HP5は、をハーモニー付きで使用し、ハーモニーなしでボーカルを抽出します)
HP2:音楽の楽器演奏+ボーカル(ハモリなし)
HP5:音楽の楽器演奏+ボーカル(ハモリあり)

 

Input audio folder path:
(ボーカルリムーバーをしたい音源ファイルを指定)
試した範囲では、Colaboratory上でファイルを指定するとエラーになるようでした。
そのため、ここの記述は、すべて削除しておきます。

 

也可批量输入 音频文件,二选一,优先读文件夹:
You can also input audio files in batches, choose one of the two, and read the folder first
(音声ファイルの一括入力も可能で、どちらか一方を優先的に読み込むフォルダ)
ここに、ボーカルリムーバーをしたい音源ファイルをドラッグ&ドロップします。(または、ファイルを指定します)

 

Model:
(UVR5の学習モデルの指定)

– HP2-人声vocals+非人声instrumentals
(音楽の楽器演奏+ボーカル ハモリなし)

– HP5-主旋律人声vocals+其他instrumentals
(音楽の楽器演奏+ボーカル ハモリあり)

 

Specify output vocal folder:
(分離したボーカル音声を保存するフォルダ名を指定)
opt
(一例)
*「opt」というフォルダを新規作成し、その中に保存する例

 

Specify output instrumental folder:
(分離した楽器の伴奏音を保存するフォルダ名を指定)
opt
(一例)
*「opt」というフォルダを新規作成し、その中に保存する例

 

Conversion/Convert
(変換:ボーカルリムーバーを実行)

 

Output information
(アウトプット情報)
成功すれば
〜.mp3->Success
〜.wav->Success

などと出力されます。

 

初めて実行される場合、あれ?ファイルが認識されない・・・
などと悩まれる方もいるのではないかと思います。
一連の情報が、RVC WebUIのボーカルリムーバーを始めるきっかけになることがありましたら幸いです。

 

by 子供プログラマー | プログラミング入門ウェブ教室

 

 

 

【音声認識】

【Python入門】日本語の文字起こしのやり方(音声認識:音声ファイル編)サンプルコード 

 

【音声合成】

RVC WebUIで作成したオリジナル学習モデルを使ってテキスト音声合成に挑戦!
VG WebUIの使い方:AIボイスチェンジャー(RVC WebUI)の学習モデルでテキスト音声合成(テキストの音声読み上げ:TTS – Text to Speach)入門 

【PyTorch入門】日本語のテキスト音声合成(E2E-TTS)- ESPnet・Tacotron 2版