• 本项目的目标群体是：深度学习初学者，具备Python和PyTorch的基本操作是使用本项目的前置条件；
• 本项目旨在帮助深度学习初学者，摆脱枯燥的纯理论学习，通过与实践结合，熟练掌握深度学习基本知识；
• 本项目不支持实时变声；（支持需要换掉whisper）
• 本项目不会开发用于其他用途的一键包。（不会指没学会）

• 【无 泄漏】支持多发音人

• 【捏 音色】创造独有发音人

• 【带 伴奏】也能进行转换，轻度伴奏

• 【用 Excel】进行原始调教，纯手工

https://github.com/PlayVoice/so-vits-svc-5.0/releases/tag/bigvgan_release

• sovits5.0_bigvgan_mix_v2.pth模型包括：生成器+判别器=198M，可用作预训练模型
• 发音人（56个）文件在configs/singers目录中，可进行推理测试，尤其测试音色泄露
• 发音人22，30，47，51辨识度较高，训练音频样本在configs/singers_sample目录中

由于使用了数据扰动，相比其他项目需要更长的训练时间

1. 安装ffmpeg

• Linux

  apt update && sudo apt install ffmpeg
  

• Windows

  • 有conda环境运行下面的命令来安装ffmpeg

    conda install ffmpeg
    

  • 没有conda环境从CODEX FFMPEG下载已经编译好的ffmpeg，并且正确配置ffmpeg的环境变量

2. 安装PyTorch

3. 安装项目依赖

   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt
   

   注意：不能额外安装whisper，否则会和代码内置whisper冲突

4. 下载音色编码器, 把best_model.pth.tar放到speaker_pretrain/里面 （不要解压）

5. 下载whisper-large-v2模型，把large-v2.pt放到whisper_pretrain/里面

6. 下载hubert_soft模型，把hubert-soft-0d54a1f4.pt放到hubert_pretrain/里面

1. 人声分离，如果数据集没有BGM直接跳过此步骤（推荐使用UVR中的3_HP-Vocal-UVR模型或者htdemucs_ft模型抠出数据集中的人声）
2. 用slicer剪切音频，whisper要求为小于30秒（建议丢弃不足2秒的音频，短音频大多没有音素，有可能会影响训练效果）
3. 手动筛选经过第1步和第2步处理过的音频，裁剪或者丢弃杂音明显的音频，如果数据集没有BGM直接跳过此步骤
4. 用Adobe Audition进行响度平衡处理
5. 按下面文件结构，将数据集放入dataset_raw目录

dataset_raw
├───speaker0
│   ├───000001.wav
│   ├───...
│   └───000xxx.wav
└───speaker1
    ├───000001.wav
    ├───...
    └───000xxx.wav

python svc_preprocessing.py -t 2 --crepe

-t：指定线程数，必须是正整数且不得超过CPU总核心数，一般写2就可以了
--crepe：使用crepe提取f0，如果训练集杂音多可以加上；杂音几乎没有可以不加--crepe，使用dio提取f0

预处理完成后文件夹结构如下面所示

data_svc/
└── waves-16k
│    └── speaker0
│    │      ├── 000001.wav
│    │      └── 000xxx.wav
│    └── speaker1
│           ├── 000001.wav
│           └── 000xxx.wav
└── waves-32k
│    └── speaker0
│    │      ├── 000001.wav
│    │      └── 000xxx.wav
│    └── speaker1
│           ├── 000001.wav
│           └── 000xxx.wav
└── pitch
│    └── speaker0
│    │      ├── 000001.pit.npy
│    │      └── 000xxx.pit.npy
│    └── speaker1
│           ├── 000001.pit.npy
│           └── 000xxx.pit.npy
└── hubert
│    └── speaker0
│    │      ├── 000001.vec.npy
│    │      └── 000xxx.vec.npy
│    └── speaker1
│           ├── 000001.vec.npy
│           └── 000xxx.vec.npy
└── whisper
│    └── speaker0
│    │      ├── 000001.ppg.npy
│    │      └── 000xxx.ppg.npy
│    └── speaker1
│           ├── 000001.ppg.npy
│           └── 000xxx.ppg.npy
└── speaker
│    └── speaker0
│    │      ├── 000001.spk.npy
│    │      └── 000xxx.spk.npy
│    └── speaker1
│           ├── 000001.spk.npy
│           └── 000xxx.spk.npy
└── singer
    ├── speaker0.spk.npy
    └── speaker1.spk.npy

如果您有编程基础，推荐，逐步完成数据处理，也利于学习内部工作原理

• 1， 重采样

  生成采样率16000Hz音频, 存储路径为：./data_svc/waves-16k

  python prepare/preprocess_a.py -w ./dataset_raw -o ./data_svc/waves-16k -s 16000

  生成采样率32000Hz音频, 存储路径为：./data_svc/waves-32k

  python prepare/preprocess_a.py -w ./dataset_raw -o ./data_svc/waves-32k -s 32000

• 2， 使用16K音频，提取音高：注意f0_ceil=900，需要根据您数据的最高音进行修改

  python prepare/preprocess_f0.py -w data_svc/waves-16k/ -p data_svc/pitch

  低质量音频使用下面指令处理

  python prepare/preprocess_f0_crepe.py -w data_svc/waves-16k/ -p data_svc/pitch

• 3， 使用16k音频，提取内容编码

  python prepare/preprocess_ppg.py -w data_svc/waves-16k/ -p data_svc/whisper

• 4， 使用16k音频，提取内容编码

  python prepare/preprocess_hubert.py -w data_svc/waves-16k/ -v data_svc/hubert

• 5， 使用16k音频，提取音色编码

  python prepare/preprocess_speaker.py data_svc/waves-16k/ data_svc/speaker

• 6， 提取音色编码均值；用于推理，也可作为发音人统一音色用于生成训练索引（数据音色变化不大的情况下）

  python prepare/preprocess_speaker_ave.py data_svc/speaker/ data_svc/singer

• 7， 使用32k音频，提取线性谱

  python prepare/preprocess_spec.py -w data_svc/waves-32k/ -s data_svc/specs

• 8， 使用32k音频，生成训练索引

  python prepare/preprocess_train.py

• 9， 训练文件调试

  python prepare/preprocess_zzz.py

0. 参数调整
   如果基于预训练模型微调，需要下载预训练模型sovits5.0_bigvgan_mix_v2.pth并且放在项目根目录下面
   并且修改configs/base.yaml的参数pretrain: "./sovits5.0_bigvgan_mix_v2.pth"，并适当调小学习率（建议从5e-5开始尝试）
   batch_size：6G显存推荐设置为6，设置为8可以训练，但是一个step的速度会非常慢

1. 开始训练

   python svc_trainer.py -c configs/base.yaml -n sovits5.0
   

2. 恢复训练

   python svc_trainer.py -c configs/base.yaml -n sovits5.0 -p chkpt/sovits5.0/***.pth
   

3. 训练日志可视化

   tensorboard --logdir logs/
   

1. 导出推理模型：文本编码器，Flow网络，Decoder网络；判别器和后验编码器只在训练中使用

   python svc_export.py --config configs/base.yaml --checkpoint_path chkpt/sovits5.0/***.pt
   

2. 推理

• 如果不想手动调整f0，只需要最终的推理结果，运行下面的命令即可

  python svc_inference.py --config configs/base.yaml --model sovits5.0.pth --spk ./data_svc/singer/修改成对应的名称.npy --wave test.wav --shift 0
  

• 如果需要手动调整f0，依据下面的流程操作

  • 使用whisper提取内容编码，生成test.ppg.npy

    python whisper/inference.py -w test.wav -p test.ppg.npy
    

  • 使用hubert提取内容编码，生成test.vec.npy

    python hubert/inference.py -w test.wav -v test.vec.npy
    

  • 提取csv文本格式F0参数，用Excel打开csv文件，对照Audition或者SonicVisualiser手动修改错误的F0

    python pitch/inference.py -w test.wav -p test.csv
    

  • 最终推理

    python svc_inference.py --config configs/base.yaml --model sovits5.0.pth --spk ./data_svc/singer/修改成对应的名称.npy --wave test.wav --ppg test.ppg.npy --vec test.vec.npy --pit test.csv --shift 0
    

3. 一些注意点
   当指定--ppg后，多次推理同一个音频时，可以避免重复提取音频内容编码；没有指定，也会自动提取

   当指定--pit后，可以加载手工调教的F0参数；没有指定，也会自动提取

   生成文件在当前目录svc_out.wav

   args	--config	--model	--spk	--wave	--ppg	--vec	--pit	--shift
   name	配置文件	模型文件	音色文件	音频文件	ppg内容	hubert内容	音高内容	升降调

纯属巧合的取名：average -> ave -> eva，夏娃代表者孕育和繁衍

python svc_eva.py

eva_conf = {
    './configs/singers/singer0022.npy': 0,
    './configs/singers/singer0030.npy': 0,
    './configs/singers/singer0047.npy': 0.5,
    './configs/singers/singer0051.npy': 0.5,
}

生成的音色文件为：eva.spk.npy

https://github.com/facebookresearch/speech-resynthesis paper

https://github.com/jaywalnut310/vits paper

https://github.com/openai/whisper/ paper

https://github.com/NVIDIA/BigVGAN paper

https://github.com/mindslab-ai/univnet paper

https://github.com/nii-yamagishilab/project-NN-Pytorch-scripts/tree/master/project/01-nsf

https://github.com/brentspell/hifi-gan-bwe

https://github.com/mozilla/TTS

https://github.com/bshall/soft-vc

https://github.com/maxrmorrison/torchcrepe

https://github.com/OlaWod/FreeVC paper

SNAC : Speaker-normalized Affine Coupling Layer in Flow-based Architecture for Zero-Shot Multi-Speaker Text-to-Speech

Adapter-Based Extension of Multi-Speaker Text-to-Speech Model for New Speakers

AdaSpeech: Adaptive Text to Speech for Custom Voice

Cross-Speaker Prosody Transfer on Any Text for Expressive Speech Synthesis

Learn to Sing by Listening: Building Controllable Virtual Singer by Unsupervised Learning from Voice Recordings

Adversarial Speaker Disentanglement Using Unannotated External Data for Self-supervised Representation Based Voice Conversion

Speaker normalization (GRL) for self-supervised speech emotion recognition

https://github.com/auspicious3000/contentvec/blob/main/contentvec/data/audio/audio_utils_1.py

https://github.com/revsic/torch-nansy/blob/main/utils/augment/praat.py

https://github.com/revsic/torch-nansy/blob/main/utils/augment/peq.py

https://github.com/biggytruck/SpeechSplit2/blob/main/utils.py

https://github.com/OlaWod/FreeVC/blob/main/preprocess_sr.py