手摸手教学，如何训练一个你的专属AI歌姬~

- 日理万妓 2024-03-16 09:42 45阅读 0赞

现代的模型对于图生图的支持效果已经非常好了，相信对于美术行业，这是一场影响很深远的变革。也许我们正站在一个新的时代交叉路口，可能多年后回忆起当下的一瞬间，才后知后觉我们经历了一段什么样的时代开端。

好了，回到主题，这一篇文章主要是介绍如何使用音频模型，转换成你想要的歌手声音，得益于AI孙燕姿的火爆全网，让我也迫切想尝试一下 AIsong 歌曲转换。

目前来说比较火的开源 SVC 主要有以下几种：

*  rvc: https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI
 *  diff-svc: https://github.com/prophesier/diff-svc
 *  *so-vits-svc: https://github.com/svc-develop-team/so-vits-svc*

语音转换的目标是将源语音转换为目标语音，保持内容不变。提出了自监督表示学习用于语音转换

离散内容编码表示会丢失一些语言内容，导致发音不准确。为此，提出了通过预测离散单位分布学习的软语音单位。通过建模，软语音单位捕捉更多的内容，提高了转换语音的效果。

![fa1c78fd5f86354c98fc7f030835036a.png][]

在语音转换系统架构中，离散内容编码主要包含两个部分的实现：

1.  离散内容编码器：将音频特征聚类，生成一系列离散的语音单位序列
2.  软内容编码器：被训练用于预测离散语音单位

除此之外Acoustic model将离散/软语音单位转换为目标声谱图。 vocoder语音合成器将声谱图转换为音频波形。

废话不多说，前期铺垫了这么多，我们下面直接开始操作~

**一、前期准备**

刚开始模型训练前，我们需要搜集大量的目标人物的音频素材，如果是需要以你自己声音为基础的转换模型，则需要录制你自己的声音。这里的素材多少会直接影响到你模型训练的质量，**一般建议提供 100 分钟以上的人声素材。**

如果不是自己的声音，建议可以去网上搜集需要的人声音频。我这边使用的是阿B上的视频素材，这里可以使用这里推荐的工具（[传送门][Link 1]），直接下载对应的视频or音频，非常方便~

这里我下载了差不多100分钟的音频

![b11bcc867c4c3cbefaac9eed864a458f.png][]

准备好音频素材后，需要对音频文件进行人声和背景音的分离，因为背景音对于模型的训练有干扰，单纯的人声可以让模型的声音效果和目标更拟合。这里使用到的工具是 demucs

安装：

pip install -U demucs

分离人声和背景音

demucs "音频文件地址" -o "输出文件目录" -n mdx_extra --two-stems=vocals

生成后输出文件目录有两个文件，一个是人声，一个是背景音

![4f33894a886908a1d481f971e9be9883.png][]

把所有的音频文件都进行人声分离后，接下来就要对音频进行切片处理了，因为人声素材文件的大小过大会影响模型训练的速度，所以我们还需要对其切片，将它变成一个比较小的人声切片文件。这里使用的工具是 audio-slicer

https://github.com/openvpi/audio-slicer

git clone https://github.com/flutydeer/audio-slicer.git
    cd ./audio-slicer
    pip install -r requirements.txt
    python ./slicer-gui.py

![232bf05d27a9940932d2cd88a45d06d7.png][]

**二、模型训练**

模型训练主要是使用的是 [GitHub - svc-develop-team/so-vits-svc: SoftVC VITS Singing Voice Conversion][GitHub - svc-develop-team_so-vits-svc_ SoftVC VITS Singing Voice Conversion]

你可以在自己的显卡上训练，也可以在云端上进行锻炼。因为我本机电脑的显卡不行，所以使用云端的服务器来进行训练。参考了很多教程，感觉很多博主都推荐 AutoDL 这个平台，所以我们也使用这个，避免走弯路~

这里租用一台 v100 的算力服务器

![7a4c02c657a70ef695498bb745d26d5d.png][]

镜像这里选择：

![7123e079b388fa6eac63e91615bc534c.png][]

选择 v3 或者 v4 模型都可以

![4cf993e682d648457a8bbfa1f2ef1e1d.png][]

买完之后进入控制台，接下来就是使用网盘把我们处理过的人声素材导入到实例容器中

![759e4eb71beb5d9c15c486686a3f45c6.png][]

点击“AutoPanel”进入控制台

![3ef0ec1e340544322c06e4536fd2d311.png][]

![7e911d8138c3d8a9ad5b59c95713cf08.png][]

可以先把训练数据上传到阿里云，在这里用阿里云app扫码登录。对需要上传到容器内的训练集文件夹，点击下载，然后就可以自动同步到容器内的这个文件夹目录里的，整个过程耗时会稍微久一点。

![169c5edc65ade7233ae397a36010e0b0.png][]

至此，我们的数据集就全部准备好了，下面就准备训练了。

**二、模型训练**

回到我们的控制台，点击 JupyterLab 进入容器内

![aeb28714513e0f82b2c0278ec5499f20.png][]

进入 JupyterLab 后，打开项目内的 README-v4.ipynb ，可以看到模型作者很细致的将模型训练每一步都做成了可视化操作的命令步骤解析。第一步就是我们的训练集从 /dataset 文件夹目录，搬运到 /dataset\_raw。只需要鼠标点击模型作者第一步 \[1\]: 所标识的python命令，然后点击运行按钮即可，这个点击后需要小小等待一会，它开始运行时命令下面会有相关的输出提示。

![afb25db0e02e08407bac6d5cb938432a.png][]

在此文件夹目录下，数据集就安放正确了。比如你训练数据集的文件夹名称是 Paimondata 则会在此目录下生成一个同样的目录，其实你可以直接把数据集导入到这里也行，不用网盘。

![47d80ccdb03da90e85af53036543e2e4.png][]

在文档中也清楚的说明了，文件夹名称就是你训练的人声名字，可以放多个你想要训练的声音目标

![862a7f4b4266000cfdd5d145ceca76b7.png][]

第二步就是对数据集进行采样至 44100hz。第三步则是进行自动划分训练集。这两部分也是一样，按运行按钮执行。

![12f6b37c759541eb576a56beba335f90.png][]

接下来就是对配置文件 /config/config.json 文件进行配置，编辑后进行修改：*把 "learning\_rate"改成 0.0004，把 "batch\_size"改成24，把 "keep\_ckpts"改成10，然后按Ctrl+S保存！！！*

![6153fc45b7100aa4aaa7292949ece41e.png][]

learning\_rate和batch\_size这两个参数可以理解为训练速度和训练质量，因为我们用的V100 32G显卡，这块直接固定死数值就可以，keep\_ckpts是保存多少个模型，因为声音模型训练是不会自动停止的，每几千步就会给你保存一个模型，所以我们可以让他自动保存最新的10个模型让我们来选一个最好的。

接着需要生成 hubert 和 f0，这里是后面推理的时候添加的辅助选项，为了修饰推理出来的音频更加顺滑

![8aac5a7a0ef5af2f5cbc3d812d4f2028.png][]

如果你是第一次训练，则无需进行清理，直接跳到训练这一步就行了，不过在训练这里，按照文档注释的，使用终端来进行训练命令的执行。

![86c1264ddcc18368a7cc3f31df7cebab.png][]

在启动页点击“终端”，进入终端后就可以上面训练中的 Python 命令拿来执行了

![408078d2c4ffd95bf612229efa34869d.png][]

注意一下，这里需要在项目的当前目录才能执行，如果不是项目目录可以

cd ~/autodl-tmp/so-vite-svc

![b45bdf6486a4c35b94a7c3106d475811.png][]

出现日志后就说明开始训练了，可以看到每训练200步，train.log 日志就记录相关的日志，也就是控制台中的输出。没当800步的时候就会保存一个模型，工程会默认保存最新的十个模型，模型目录如下

![1579fade45898bf2df2ef9e7f2349b28.png][]

然后我们可以等待它的模型了，一般达到10000步的时候效果会比较好一些，这个过程差不多五个小时，这时候咱们可以去吃饭喝茶遛弯干别的事情了，哪怕关掉电脑都行，训练命令并不会因为与 autodl 的网页连接中断而停止，所以不用担心。

**三、声音推理**

这里网上的教程都是说把模型文件拉取到本地来进行推理，但是个人不太建议这样子做，因为本地的python环境需要安装很多的依赖不说，还不一定能装载成功，既然云端都提供了整个工程了，为什么不在云端进行推理呢。云端推理有 webui 和 脚本 两种方法，两个我试过了，webui会出现推理失败的情况，脚本就非常稳定，能成功产出推理音频。

和数据预处理一样，我们需要把需要被转换的音乐，进行人声和背景音的分离，使用我们上面的工具 demucs 来处理，步骤是一样的。得到音乐的人声后，我们把它放到云端工程的这个目录下。

![1c7d1a4a64faf5439ea69260d7f3c113.png][]

上图中 vocals.wav 就是整首歌的人声部分，这里因为音频有四分钟左右，整首进行推理的话，会直接报内存使用超过上限的错误，所以我又用上面提到的 auto-slicer 工具来进行切分人声，得到 0 到 5 个分片文件。

接下来打开终端，运行一下命令：

python inference_main.py  -m "logs/44k/G_{模型编号}.pth" -c "configs/config.json" -n {raw目录下需要转换的人声文件名} -t 0 -s {上面你数据训练集的文件夹名称也就是文档里的speaker name}

关于推理参数，文档有很详细的描述

#用脚本推理 
    !python inference_main.py 
    #推理结果会存放在so-vits-svc/results文件夹
    #如果不编辑推理脚本，参数直接附加在上面的指令后 
    #如 !python inference_main.py -m "logs/44k/G_30400.pth" -c "configs/config.json"...
    #每个参数需要用""括起来
    #必填参数
    #-m, --model_path：模型路径。
    #-c, --config_path：配置文件路径。
    #-n, --clean_names：wav 文件名列表，放在 raw 文件夹下。
    #-t, --trans：音高调整，支持正负（半音）。
    #-s, --spk_list：合成目标说话人名称。
    #可填参数
    #-a, --auto_predict_f0：语音转换自动预测音高，转换歌声时不要打开这个会严重跑调。
    #-cm, --cluster_model_path：聚类模型路径，如果没有训练聚类则随便填。
    #-cr, --cluster_infer_ratio：聚类方案占比，范围 0-1，若没有训练聚类模型则填 0 即可。

所有的推理产出都在 result 文件夹中

![1db034e2de151efdeccc1775b6219075.png][]

可以一个一个的下载下来本地进行播放，如果发现效果不好，则重新选择模型进行推理，一般来说训练次数越多，声音的推理产出结果和训练的目标对象越相似。

在本地后，你可以像我一样用剪印或者其他的编辑软件进行音频的合成。也就是把上面的推理结果和歌曲的背景音进行重新剪辑合并。

![618c0e234d05b29c2fff1d2a84bd2c81.png][]

![63cb808bfad570d788f7b3ec6266a1ad.png][]

[fa1c78fd5f86354c98fc7f030835036a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/89e348afdfc24586b246d1f91515dec7.png
[Link 1]: https://zhuanlan.zhihu.com/p/124293184
[b11bcc867c4c3cbefaac9eed864a458f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/cb77150efa824bd99fd197fbe316f855.png
[4f33894a886908a1d481f971e9be9883.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/b13b874048634906a1c0abbfd3441ab9.png
[232bf05d27a9940932d2cd88a45d06d7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/677760cfa15d47279d5efdd03fc15441.png
[GitHub - svc-develop-team_so-vits-svc_ SoftVC VITS Singing Voice Conversion]: https://github.com/svc-develop-team/so-vits-svc/tree/4.1-Stable
[7a4c02c657a70ef695498bb745d26d5d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/6c361359f64942c2971637c74bd91de5.png
[7123e079b388fa6eac63e91615bc534c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/c20760e8745244b4bb0348f4f784eef6.png
[4cf993e682d648457a8bbfa1f2ef1e1d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/b44d50d3077342b299441437676a914b.png
[759e4eb71beb5d9c15c486686a3f45c6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/d559e53520104337a1ced96e2a3ff3d3.png
[3ef0ec1e340544322c06e4536fd2d311.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/98d97856445d47eb8b177b15784a5c47.png
[7e911d8138c3d8a9ad5b59c95713cf08.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/77872a6583ee40808accab5bdbbc72f9.png
[169c5edc65ade7233ae397a36010e0b0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/2115c46d231a42f7943eb964deb70562.png
[aeb28714513e0f82b2c0278ec5499f20.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/cfbf042f34d44dc08e2b59fa60328069.png
[afb25db0e02e08407bac6d5cb938432a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/cd1faab8458d4d0f8dc51f4ec83486b7.png
[47d80ccdb03da90e85af53036543e2e4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/f0f96dcf70d4408ca40c461f90326bc5.png
[862a7f4b4266000cfdd5d145ceca76b7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/7205ae3f8aeb49c6a7c4f6ab3dcb2a0f.png
[12f6b37c759541eb576a56beba335f90.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/0cffa4c0daab432cadfaaac41b6bdfe0.png
[6153fc45b7100aa4aaa7292949ece41e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/89da152a053c41e7b48faf567a0420f9.png
[8aac5a7a0ef5af2f5cbc3d812d4f2028.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/8bb4173c921f47c9aba84c8e20cf2d20.png
[86c1264ddcc18368a7cc3f31df7cebab.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/956c3d3ceeb446398758b6f229a7a7e4.png
[408078d2c4ffd95bf612229efa34869d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/22ac3d976dd842b882c755ed445f63eb.png
[b45bdf6486a4c35b94a7c3106d475811.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/68b8c5021fb5454891ba57ffac101e98.png
[1579fade45898bf2df2ef9e7f2349b28.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/d8e9e75ee87f4eb99aedeb307ac6fbd2.png
[1c7d1a4a64faf5439ea69260d7f3c113.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/e827ad914f8f447cb274067bde77bd7b.png
[1db034e2de151efdeccc1775b6219075.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/2c82dcf57c5d401c9d754752782755fa.png
[618c0e234d05b29c2fff1d2a84bd2c81.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/1d307572f6494ef4bd32bb3596b8a35c.png
[63cb808bfad570d788f7b3ec6266a1ad.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/4383435b2fa243dc897bf80d4ab13433.png