百度语音合成模型Deep Voice3

淩亂°似流年 2022-12-11 03:28 931阅读 0赞

### INTRODUCTION ###

Deep Voice3是由百度提出的一个全新的全卷积TTS架构。百度的主要工作分为如下五个方面：

1.  提出了一个全卷积的 character-to-spectrogram 架构，它能并行计算，并且比使用循环单元的架构快
2.  Deep Voice3训练非常快，并且可以扩展到LibriSpeech语音数据集，该数据集包含来自2484个说话人的820小时音频数据
3.  可以产生**单调的注意力行为 (monotonic attention behavior)**，避免了seq2seq语音合成中常见的错误
4.  比较了几种波形合成方法的质量，包括WORLD、Griffin-Lim以及WaveNet
5.  描述了Deep Voice3推理内核的实现，它可以在单个GPU上提供高达每天一千万次推理

### ARCHITECTURE ###

Deep Voice3能够将各种文本特征（如字符、音素、重音）转换为各种声码器参数，如梅尔谱、线性对数谱、基频、频谱包络等。这些声码器参数可用作波形合成模型的输入

![169fb9889018697e031a4063565a5e2f.png_shadow][]

Deep Voice3架构包括3个组件：

*  编码器：完全由卷积构成，用于提取文本特征
 *  解码器：也是完全由卷积构成，利用\*\*多跳卷积注意力机制 (multi-hop convolutional attention mechanism) \*\*将提取的文本特征，以一种自回归的方式解码成低维的音频特征
 *  转换器：同样是完全由卷积构成，它从解码器隐藏状态预测最终声码器的参数（取决于声码器选择）。与解码器不同，转换器是非因果的，因此它可以依赖未来的上下文信息

优化的目标是**解码器**和**转换器**损失的线性组合。作者将解码器和转换器分开并应用于多任务训练，因为这样可以使得实践中注意力更好的学习。具体来说的话，梅尔谱预测的损失指导了注意力机制的训练，因为注意力的训练利用了梅尔谱预测以及声码器参数预测的梯度

### TEXT PREPROCESSING ###

1.  字母全部转大写
2.  删除所有标点符号
3.  每句话的结尾由且仅由句号或问号组成
4.  使用特殊的分隔符替换单词之间的空格，这些分隔符表示说话人在单词之间停顿的时长。共有四种特殊的分隔符，它们表示的含义分别是：含糊不清的单词、标准发音和空格字符、单词之间的短时停顿、单词之间的长时停顿。例如句子"Either way, you should shoot very slowly," 在way后带有长时停顿，在shoot后带有短时停顿，可以写成"Either way%you should shoot/very slowly%." 其中%表示长时停顿，/表示短时停顿。停顿时长可以通过手工标记或文本音频对齐器

### CONVOLUTION BLOCKS ###

![f2ed1d9a2f585a1b10b43b36e22a2a2d.png_shadow][]

该卷积块包含一个一维卷积滤波器，一个门控可学习的非线性单元，一个残差连接，以及一个缩放因子 0.5 \\sqrt\{0.5\} 0.5。为了引入说话人的相关特征，在经过softsign激活函数之后，将说话人特征作为偏置添加到卷积滤波器的输出。卷积块中使用标准正态分布初始化卷积滤波器的权重

> Softsign函数：  
>  y = F ( x ) = x 1 + ∣ x ∣ . y=F(x)=\\frac\{x\}\{1+|x|\}. y=F(x)=1\+∣x∣x.  
> ![837dc41dd7cd857c02098392cffe8bd6.png_shadow][]

### ENCODER ###

编码器网络首先从文本编码开始，将字符或音素转换为可训练的向量表示 h e h\_e he。然后将 h e h\_e he送入全连接层以投影到目标维度。PreNet得到的输出再送入一系列卷积块，以提取时间相关的文本信息。最后，它们被投影回Text Embedding维度以创建注意力键向量 h k h\_k hk。从注意力键向量和文本嵌入计算注意力值向量 h v = 0.5 ( h k + h e ) h\_v=\\sqrt\{0.5\}(h\_k+h\_e) hv=0.5(hk\+he)，以联合考虑 h e h\_e he中的局部信息和 h k h\_k hk中的长时上下文信息。键向量 h k h\_k hk被各个注意力块用来计算注意力权重，而最终的上下文向量被计算为值向量 h v h\_v hv的加权平均

### DECODER ###

解码器以自回归的模式预测接下来的r (r>1) 帧梅尔谱。由于不能利用后面时刻的数据，所以解码器采用的是causal convolution或者也叫做masked convolution

梅尔谱数据先经过PreNet，然后通过casual convolution层将其变为query矩阵。再与Encoder的输出的Key和Value矩阵进行attention运算。如此积累多层，最后经过全连接层预测接下来的r帧梅尔谱，并且还会预测是否该停止预测（类似于Tacotron2）。损失函数是L1 Loss及交叉熵

### ATTENTION BLOCK ###

Attention模块就是大家熟知的传统点积计算方法，先用query矩阵与key矩阵计算attention权重，然后再对value矩阵加权求和，得到context向量。此外，attention block还引入了位置编码 h p ( i ) h\_p(i) hp(i)帮助文本和频谱进行对齐  
 h p ( i ) = s i n ( w s i / 1000 0 k / d ) , i = 0 , 2 , 4 , . . . h p ( i ) = c o s ( w s i / 1000 0 k / d ) , i = 1 , 3 , 5 , . . . h\_p(i)=sin(w\_si/10000^\{k/d\})\\ ,i=0,2,4,...\\\\ h\_p(i)=cos(w\_si/10000^\{k/d\})\\ ,i=1,3,5,... hp(i)=sin(wsi/10000k/d),i=0,2,4,...hp(i)=cos(wsi/10000k/d),i=1,3,5,...  
其中， i i i是时间步索引， k k k是位置编码中的通道索引， d d d是位置编码中所有通道的数量， w s w\_s ws是编码的位置率。位置率决定了注意力分布中线的平均斜率，大致对应于语速。对于单说话人，query中的 w s w\_s ws被固定为1，key中的 w s w\_s ws被固定为输入时间步与输出时间步之比；对于多说话人， w s w\_s ws通过每个说话人嵌入进行计算（下图左边）

详细流程如下图所示

![b248a5ecb367dc7d59d2788183259e19.png_shadow][]

在翻译场景中，源语言句子和目标语言句子中词的对应顺序并不是严格单调的，而在语音合成中，语音是按照文本顺序读出来的，所以对齐关系会更严格

### CONVERTER ###

转换器网络将解码器的最后隐藏层的输出作为输入，转换器包含若干非因果卷积块，然后预测下游声码器的参数。与解码器不同，转换器是非因果和非自回归的，因此它可以使用解码器的未来信息进行预测。转换器有很多种，可以使用Griffin-fim或者wavenet等，当然，采用wavenet的效果会好一些。整个模型框架如下

![20154c771f626ac6c1e2ceeee14deab4.png_shadow][]

### RESULTS ###

Deep Voice3模型由于采用全卷积而非GRU来提取文本及频谱特征，可以大幅提高训练时GPU的利用率，相同的batch size下，速度是Tacotron的10倍。并且达到收敛所需的步数也只是Tacotron的1/4。在加入monotonic attention后，合成语音的自然语也有所提高

![b9f9ea9a68c92b178c341c72a847b489.png_shadow][]

### REFERENCE ###

*  [神经网络语音合成模型介绍-DeepVoice3][-DeepVoice3]
 *  [Deep Voice 3：通过卷积序列学习来扩展语音合成][Deep Voice 3]
 *  [Deep Voice3论文][Deep Voice3]

[169fb9889018697e031a4063565a5e2f.png_shadow]: /images/20221123/0afee5a4b30c4a8a9a06f35f56f048c8.png
[f2ed1d9a2f585a1b10b43b36e22a2a2d.png_shadow]: /images/20221123/580e5f6cf39a4cfd9d40d961cab3c37d.png
[837dc41dd7cd857c02098392cffe8bd6.png_shadow]: /images/20221123/3f879dcda5344b36b77c828d13de8bac.png
[b248a5ecb367dc7d59d2788183259e19.png_shadow]: /images/20221123/8325c9925f854fb2aa4078801a1b0aed.png
[20154c771f626ac6c1e2ceeee14deab4.png_shadow]: /images/20221123/a4b7f64f431441cb8e85b336da907e79.png
[b9f9ea9a68c92b178c341c72a847b489.png_shadow]: /images/20221123/896a37bd63ba42a1af45dd9e591fca35.png
[-DeepVoice3]: https://blog.csdn.net/mudongcd0419/article/details/82902458
[Deep Voice 3]: https://blog.csdn.net/lujian1989/article/details/82768180
[Deep Voice3]: https://arxiv.org/pdf/1710.07654.pdf