【RunPod編】RVC WebUIをはじめよう

Table of Contents

【更新情報】

2024年12月26日（木）
：テンプレートがRunPod上で検索できない件についての修正（紹介リンクの追記）をしました。

移行ガイドのチュートリアル動画で解説しているテンプレートは、他の方がRunPod上で検索できない仕様のようでした。
検証したところ、今回作成したテンプレートを使用するには、紹介リンク（共有リンク）を使っていただく必要があるようでしたので、「各ノートブックのダウンロードページ」「各移行ガイドのチュートリアル記事」などにテンプレートの紹介リンクを追記しておきました。

2024年12月24日（火）
：ページを公開しました。

現在、4パターンのRVC WebUIをRunPodで使うためのチュートリアル用のノートブック

【オリジナル版RVC WebUI – RVC v1モデル】2024年12月24日公開
ダウンロード：RVC v1モデル – オリジナル版RVC WebUIチュートリアル用のノートブック
（RunPod-v1-RVC-WebUI-Historical-Legacy-for-Japanese-AI-beginners.ipynb | The MIT License）

【オリジナル版RVC WebUI – RVC v2モデル】2024年12月24日公開
ダウンロード：RVC v2モデル – オリジナル版RVC WebUIチュートリアル用のノートブック
（RunPod-v2-RVC-WebUI-Historical-Legacy-for-Japanese-AI-beginners.ipynb | The MIT License）

【だだっこぱんださん版RVC WebUI – RVC v1モデル】2024年12月24日公開
ダウンロード：RVC v1モデル – ddPn08版RVC WebUIチュートリアル用のノートブック
（RunPod-v1-RVC-WebUI-ddPn08-Historical-Legacy-for-Japanese-AI-beginners.ipynb | The MIT License）

【だだっこぱんださん版RVC WebUI – RVC v2モデル】2024年12月24日公開
ダウンロード：RVC v2モデル – ddPn08版RVC WebUIチュートリアル用のノートブック
（RunPod-v2-RVC-WebUI-ddPn08-Historical-Legacy-for-Japanese-AI-beginners.ipynb | The MIT License）

を公開中です。
GPU搭載パソコンをお持ちでなく、Google ColaboratoryでRVC WebUIを使っていた方が、RVC WebUIを再開するきっかけになることがありましたら幸いです。

【RunPod編】RVC v1モデル – オリジナル版

Train（学習）の外観 - 【RunPod編】RVC v1モデル - オリジナル版 — Train（学習）の外観

【オリジナル版RVC WebUI】

RVC v1モデル用ノートブックのダウンロードページ：
ダウンロード：RVC v1モデル – オリジナル版RVC WebUIチュートリアル用のノートブック
（RunPod-v1-RVC-WebUI-Historical-Legacy-for-Japanese-AI-beginners.ipynb | The MIT License）

概要：
RVC WebUIリリース当初からRVC WebUI公式でGoogle Colaboratory用に公開してくださっていた

・元祖RVC v1モデルのリポジトリ：2024年4月時点

のプログラムを使えるようにチュートリアルコードを作成しています。
オリジナル版はRVC v2モデルも出ていますが、元祖RVC WebUIの安定感を求める方に人気があります。

機能：

Embedder Model：
（埋め込み表現モデル）
contentvec

Pitch Extraction Algorithm：
（ピッチ抽出アルゴリズム）
dio（Train）
pm
harvest

【RunPod編】RVC v2モデル – オリジナル版

Model Inference（モデル推論）の外観 - 【RunPod編】RVC v2モデル - オリジナル版 — Model Inference（モデル推論）の外観

Train（学習）の外観 - 【RunPod編】RVC v2モデル - オリジナル版 — Train（学習）の外観

【オリジナル版RVC WebUI】

RVC v2モデル用ノートブックのダウンロードページ：
ダウンロード：RVC v2モデル – オリジナル版RVC WebUIチュートリアル用のノートブック
（RunPod-v2-RVC-WebUI-Historical-Legacy-for-Japanese-AI-beginners.ipynb | The MIT License）

概要：
RVC WebUI公式の

・本家RVC WebUIのv2モデルのリポジトリ：2024年10月版

のプログラムを使えるようにチュートリアルコードを作成しています。

本家RVC WebUIのRVC v2モデル対応の2024年モデルです。
「Pitch Extraction Algorithm」（ピッチ抽出アルゴリズム）で色々な技術を試すことができます。
新しい技術を試してみたい方は、チャレンジしてみてください。

【追記：2025年1月7日 – ASMR対応の学習モデルとは？】

RVCの学習モデルについて調査してみると、「ASMR」（Autonomous Sensory Meridian Response：自律感覚絶頂反応）の感覚を引き起こすことを意図して録音された囁き声（無声音・吐息）の音声を使って学習させたと思われる学習モデルも（2024年辺りから？）国内外で出ているようでした。
調べられた範囲の情報では、「Pitch Extraction Algorithm」（ピッチ抽出アルゴリズム）の設定を「rmvpe」（最新のRMVPEボーカルピッチ抽出アルゴリズム）系にしてASMRを誘発する目的で録音された音声を学習させているようでした。
また、音声変換する際には、変換前の音声ファイルのノイズを除去し、RVC WebUI上で音声変換（モデル推論：「rmvpe」を選択）すると良いのではないか？と推測されました。
＊囁き：ささやき
＊無声音：声帯振動を伴わない音

機能：

Embedder Model：
（埋め込み表現モデル）
contentvec

Pitch Extraction Algorithm：
（ピッチ抽出アルゴリズム）
dio（Train）
pm
harvest
crepe
rmvpe
rmvpe_gpu（Train）

【RunPod編】RVC v1モデル – ddPn08版

Inference（モデル推論）の外観 - 【RunPod編】RVC v1モデル - ddPn08（だだっこぱんださん）版 — Inference（モデル推論）の外観

Training（学習）の外観 - 【RunPod編】RVC v1モデル - ddPn08（だだっこぱんださん）版 — Training（学習）の外観

【だだっこぱんださん版RVC WebUI】

RVC v1モデル用ノートブックのダウンロードページ：
ダウンロード：RVC v1モデル – ddPn08版RVC WebUIチュートリアル用のノートブック
（RunPod-v1-RVC-WebUI-ddPn08-Historical-Legacy-for-Japanese-AI-beginners.ipynb | The MIT License）

概要：
だだっこぱんだ（ddPn08）さん版のリポジトリのアーカイブ

・RVC v1モデルのリポジトリ：2023年5月時点

のプログラムを使えるようにチュートリアルコードを作成しています。

オリジナル版のRVC WebUIで、RVC v1モデルのRVC WebUIを好んで使われている方がいることを知りましたので、試しに、だだっこぱんださん版のRVC WebUIでもRVC v1モデルを使えるように、復刻しておきました。
パラメータが少ないのでシンプルな操作性を好まれる方にとっては、相性がいいかもしれません。

機能：

Embedder Model：
（埋め込み表現モデル）
hubert-base
hubert-base-japanese
contentvec

Embedding Channels：
（埋め込み表現の次元数）
256
768

Embedding Output Layer：
（埋め込み表現のアウトプット層の次元数）
9
12

Pitch Extraction Algorithm：
（ピッチ抽出アルゴリズム）
dio（Training）
pm
harvest

【RunPod編】RVC v2モデル – ddPn08版

Inference（モデル推論）の外観 - 【RunPod編】RVC v2モデル - ddPn08（だだっこぱんださん）版 — Inference（モデル推論）の外観

Training（学習）の外観 - 【RunPod編】RVC v2モデル - ddPn08（だだっこぱんださん）版 — Training（学習）の外観

【だだっこぱんださん版RVC WebUI】

RVC v2モデル用ノートブックのダウンロードページ：
ダウンロード：RVC v2モデル – ddPn08版RVC WebUIチュートリアル用のノートブック
（RunPod-v2-RVC-WebUI-ddPn08-Historical-Legacy-for-Japanese-AI-beginners.ipynb | The MIT License）

概要：
だだっこぱんだ（ddPn08）さん版のリポジトリのアーカイブ

・RVC v2モデルのリポジトリ：2024年10月時点

のプログラムを使えるようにチュートリアルコードを作成しています。

だだっこぱんださん版のRVC v2モデルのRVC WebUIは、AIボイスチェンジを追求する日本人の方に、根強い人気があります。
RVC v2モデル導入に伴う「Training」（学習）の仕様変更で、操作を間違える方もいるのではないかと思いましたので、使えなくなった機能は表示されないように修正しておきました。

機能：

Embedder Model：
（埋め込み表現モデル）
hubert-base-japanese（40k）
contentvec（40k）

Augment：
（データオーグメンテーション機能）
拡張オプションとして
①「data augmentation」（データ拡張）用の追加の事前学習済みモデルあり。
＊「hubert-base-japanese」を指定した場合、事前学習モデルの話者の音声の特徴が残りやすいようですが、追加の事前学習済みモデルを使うことで、軽減するようです。
②「48k」の「hubert-base-japanese」の事前学習済みモデルあり。
＊「hubert-base-japanese」の「40k」版は、音質が不安定な印象を受けていましたが、「48k」版では音質が改善されているようでした。
「hubert-base-japanese」を使いたい場合には、「48k」版を使うのが無難かと思います。
③「48k」の「contentvec」の事前学習済みモデルあり。