Audio-预训练模型-2019：vq-wav2vec

梦里梦外; 2023-09-25 12:29 51阅读 0赞

[vq-wav2vec: Self-Supervised Learning of Discrete Speech Representations - NASA/ADS][vq-wav2vec_ Self-Supervised Learning of Discrete Speech Representations - NASA_ADS]

本文基于wav2vec，将连续特征z通过提出的量化模块，变成离散特征z‘，实现特征空间从无限的连续到有限的离散的转换过程。

文中提出了两种量化方法，Gumbel softmax和K-Means，如下图。 其中，左右两个部分中的 e1 … ev，就是码本（记录特征集，可以理解为 BERT 中的词表），Gumbel通过逻辑值最大化（回传时使用Gumbel softmax来保证可导）找对应码本条，K-Means通过计算与码本距离来找最小距离的码本条。

![在这里插入图片描述][e1bcf3f57d084c1fbc2584ae4f5f6c46.png_pic_center]

codeword：VQ（Vector Quantization）操作后的离散的类别vector ![e\_1,e\_2,...e\_V][e_1_e_2_...e_V]，类似于NLP中的词典中的一个词，即：![e\_1][e_1] 对应一个词，...，![e\_V][e_V] 对应一个词；

上图中左右两个部分中的 e1 ... ev，就是所谓的码本（可以理解为 BERT 中的词表）。码本中每个元素对应的向量是随机初始化的，在训练过程中不断变化。

语音预训练和 NLP 中的预训练最大的区别在于 NLP 中的预训练的输入可以是离散的 token，而语音预训练的输入则是连续的音频。

[自动语音识别（ASR）自监督方法研究综述\_训练][ASR]

[【语音算法】wav2vec系列原理和使用\_weiquan fan的博客-CSDN博客\_wav2vec][wav2vec_weiquan fan_-CSDN_wav2vec]

[vq-wav2vec_ Self-Supervised Learning of Discrete Speech Representations - NASA_ADS]: https://ui.adsabs.harvard.edu/abs/2019arXiv191005453B/abstract
[e1bcf3f57d084c1fbc2584ae4f5f6c46.png_pic_center]: https://img-blog.csdnimg.cn/e1bcf3f57d084c1fbc2584ae4f5f6c46.png#pic_center
[e_1_e_2_...e_V]: https://latex.csdn.net/eq?e_1%2Ce_2%2C...e_V
[e_1]: https://latex.csdn.net/eq?e_1
[e_V]: https://latex.csdn.net/eq?e_V
[ASR]: https://www.sohu.com/a/489850167_121119001
[wav2vec_weiquan fan_-CSDN_wav2vec]: https://blog.csdn.net/tobefans/article/details/125434796