Tacotron2 运行笔记

男娘i 2022-12-11 03:27 211阅读 0赞

项目地址[NVIDIA/tacotron2][NVIDIA_tacotron2]，先clone下来

git clone https://github.com/NVIDIA/tacotron2

### 配置环境 ###

我的实验环境（ubuntu）：

python==3.6.10
    numpy==1.17.0
    matplotlib==2.1.0
    scipy==1.0.0
    numba==0.48.0
    librosa==0.6.0
    tensorflow==1.15.2
    pytorch==1.1.0
    torchvision==0.3.0
    inflect=0.2.5
    Unidecode==1.0.22

由于我们实验室服务器的cuda版本是9.0，因此只能使用1.1.0版的PyTorch，否则无法使用GPU。但是这个项目源码中使用了一些PyTorch 1.3以上的新功能，所以我要先修改一部分源码（如果你的Pytorch版本大于等于1.3，可以略过这部分内容）

第一个要改的地方式是`utils.py`第9行

# mask = (ids < lengths.unsqueeze(1)).bool()
    mask = (ids < lengths.unsqueeze(1)).to(torch.bool)

第二个要修改的地方是`model.py`第401和488行

# memory, mask=~get_mask_from_lengths(memory_lengths)
    memory, mask = get_mask_from_lengths(memory_lengths) <= 0
    
    # mask=~get_mask_from_lengths(output_lengths)
    mask = get_mask_from_lengths(memory_lengths) <= 0

--------------------

以上是少数人需要做的改动，下面提到的是所有人都需要做的改动，就是将`filelists/`目录下的三个文件内容进行适当修改

每个文件里面都有两列内容，第一列是语音数据所在的位置，第二列是该语音所对应的文本

我们要改的就是第一列，主要是根据你下载好的[LJSpeech Dataset][]存放的路径。比方说我将`LJSpeech-1.1/`放到了`tacotron2/`目录底下，与`tacotron2/train.py`同级，那么我的路径就应该改为

![cb2987717fed73c49f3af2fa927c1baa.png_shadow][]

### 开始训练 ###

#### 单GPU ####

如果你只有一块GPU，运行如下命令即开始训练

python train.py --output_directory=outdir --log_directory=logdir

#### 多GPU ####

多GPU训练，首先安装[Apex][]

git clone https://github.com/NVIDIA/apex
    cd apex
    pip install -v --no-cache-dir ./

然后手动新建一个目录`mkdir tacotron2/logs`

最后运行如下命令

python -m multiproc train.py --output_directory=outdir --log_directory=logdir --hparams=distributed_run=True,fp16_run=True

### 测试 ###

测试的代码已经提供好了，就是`inference.ipynd`文件

首先我们注意到原本项目中，waveglow文件夹是空的，需要先把waveglow的代码clone下来，否则导入denoiser会报错

git clone https://github.com/NVIDIA/waveglow.git

然后需要确保tensorflow版本是1.x，如果是2会报错；如果提示没有unidecode这个库，请自行pip

上面都是运行程序时会遇到的一些坑，下面是代码中需要修改的一些部分

首先在Load model from checkpoint中，`checkpoint_path`可以不用官方提供的预训练模型，而使用自己训练的模型。自己训练的模型都保存在`outdir/`中，选择一个合适的即可，比方说我选的是`outdir/checkpoint_59000`

然后在Load WaveGlow for mel2audio synthesis and denoiser中，需要`waveglow_256channels_universal_v5.pt`这个文件，因此请下载[WaveGlow][] model

以上步骤都做完以后，就可以跑起来了

### 训练时常见报错的解决办法 ###

1.  `CUDA out of memory`，将`hparams.py`中的`batch_size`参数值改小一点即可
2.  `No module named numba.decorators` ，先卸载numba`pip uninstall numba`，然后安装0.48.0版本即可`pip install numba==0.48.0`
3.  `numpy.core.multiarray failed to import`，确保自己安装的numpy版本小于1.19，大于1.15

[NVIDIA_tacotron2]: https://github.com/NVIDIA/tacotron2
[LJSpeech Dataset]: https://keithito.com/LJ-Speech-Dataset
[cb2987717fed73c49f3af2fa927c1baa.png_shadow]: /images/20221123/a6d688c501c444139d6e9829bcdeb395.png
[Apex]: https://github.com/nvidia/apex
[WaveGlow]: https://drive.google.com/open?id=1rpK8CzAAirq9sWZhe9nlfvxMF1dRgFbF