字节跳动这项研究火了：基于残差UNet架构，一键分离伴奏和人声

﹏ヽ暗。殇╰゛Y 2022-08-28 07:55 89阅读 0赞

音乐源分离 (MSS) 是将混合音频分离成单个源的任务，例如人声、鼓、伴奏等。MSS 是音乐信息检索 (MIR) 的重要内容，因为它可用于多个下游 MIR 任务，包括旋律提取、音高估计、音乐转录 、音乐混音等。MSS 也有可以直接应用的程序，例如卡拉 OK 和音乐混音。

基于深度神经网络的方法已成功应用于音乐源分离。这些方法通常用于学习从混合声谱（spectrogram）到一组源声谱的映射，所有声谱图都只有幅度。但是，这种方法会受到一定的限制：

1）不正确的相位重构降低了性能；

2）将掩码的幅度限制在 0 和 1 之间，而我们平时观察到有 22% 的时频 bin 的理想比率掩码值超过 1；

3) 在深架构上的潜力尚未得到充分探索。

字节跳动的研究者提出了解决了上述问题的方案。这项研究在 Reddit 上引来众多网友讨论：

![图片][5cd1eeef482c3d1607cba7c21ee6ffd6.png]

论文一作孔秋强本科和硕士都毕业于华南理工大学，于英国萨里大学获得博士学位，主要研究领域包括机器学习、音频信号处理等。此外，他还是 GiantMIDI-Piano（钢琴转谱）研究项目的牵头人。

孔秋强于 2019 年加入字节跳动的 Speech, Audio and Music Intelligence 研究小组，主要负责音频信号处理和声音事件检测等的研究。

![图片][b2b7e725431b489ef519655ab1c75d73.png]

该研究的贡献包括以下：

*  首先，该研究通过估计复数理想比率掩码 (cIRM，complex ideal ratio masks) 来估计相位，其中他们将 cIRM 的估计解耦为幅度和相位估计； 
 *  其次，该研究扩展了分离方法，以有效地允许掩码的幅度大于 1；
 *  最后，该研究提出了一个高达 143 层的残差 UNet 架构 。他们提出的系统在 MUDB18 数据集上实现了 SOTA MSS 结果，尤其是人声（vocals）的 SDR（signal-to-distortion ratio，信号失真率） 为 8.98 dB，优于之前 7.24 dB 的最佳性能。

![图片][bb28e43bbf475d07f886dd280bc18c0c.png]

*  论文地址：https://arxiv.org/pdf/2109.05418.pdf
 *  Github 地址：https://github.com/bytedance/music\_source\_separation
 *  试玩地址：https://huggingface.co/spaces/akhaliq/Music\_Source\_Separation

**方法介绍**

与之前直接预测掩码的实部和虚部不同，该研究建议将 MSS 的幅度和相位估计进行解耦，以便可以分别优化它们的设计。研究者将要估计的复杂掩码表示为

![图片][e3a59da11bed0880b7eb663ae25a9474.png]

。作为解决方案的一部分，系统输出一个有界幅度掩码

![图片][5420179b639877963cfc0a57c635091e.png]

，其值在 \[0, 1\] 之间。在实际应用中，它是通过 sigmoid 函数来实现的。此外，该系统还输出另外两个张量，

![图片][1148d263345e6bb60e84b2711112d530.png]

。这里，

![图片][24c19fd356e362d8f3753484f1f86940.png]

分别是

![图片][e828d4f1c522a3424bb6dfccf8c9a704.png]

实部和虚部。

![图片][909d88971cd3bf27a686c176e5706363.png]

然后，估计 cIRM 的实部和虚部：

![图片][1474a4aab98becc0cf077897942cec90.png]

**残差 UNet**

在本节中，该研究为 MSS 引入了具有数百层的深度残差 UNet，其深度至少是之前 UNet 模型的 4 倍 。首先该研究引入了一个包含 33 层的基准 UNet。这个 33 层的 UNet 由 6 个编码器和 6 个解码器层组成。每个编码器层由两个卷积层和一个下采样层组成。每个解码器层由一个上采样转置卷积层和两个卷积层组成。最后，在解码器层之后添加了三个额外的卷积层，总共有 33 个卷积层。

接下来，该研究介绍了一个具有 143 层的残差 UNet。在构建具有数百层的残差 UNet 时，他们使用残差编码器块 (REB) 和残差解码器块 (RDB) 来增加网络深度。图 3 显示了残差 UNet 架构，其中使用了 6 个 REB 和 6 个 RDB。每个 REB 由 4 个残差卷积块（RCB）组成，如图 4（a）所示。每个 RCB 由两个卷积层组成，卷积核大小为 3×3，如图 4（c）所示。在 RCB 的输入和输出之间添加了一个快捷连接（shortcut connection）。在遵循预作用残差网络配置的卷积层之前，应用批量归一化和具有 0.01 负斜率的 leaky ReLU 非线性函数。在每个 REB 之后应用 2 × 2 平均池化层以减小特征图大小。每个 REB 由 8 个卷积层组成。

![图片][6a62a17345b0abbd1b6a3178d4c2e9e4.png]

*图 3：带有残差块的 MSS 系统， REB、RDB 和 RCB 的详细信息见图 4 。*

解码器 (RDB) 中的块与编码器 (REB) 中的块对称。每个 RDB 由一个转置（transposed）卷积层组成，其卷积核大小为 3 × 3，stride 为 2 × 2 ，用来对特征图进行上采样，然后是四个 RCB，如图 4（b）所示。每个 RDB 由 9 个卷积层组成，包括 8 个卷积层和 1 个转置卷积层。为了进一步提高残差 UNet 的表示能力，该研究在 REB 和 RDB 之间引入了中间卷积块 (ICB)，如图 3 所示。该研究使用 4 个 ICB，其中每个 ICB 由 8 个卷积层组成。

![图片][d21df8142c9eebfda1692e3c90077782.png]

*图 4：(a) 残差编码器块 (REB)，(b) 残差解码器块 (RDB)，(3) 残差卷积块 (RCB)*

**实验**

该研究在 MUDB18 数据集上进行了实验。MUDB18 数据集包括独立的人声、伴奏、贝斯、鼓和其他乐器。其训练 / 验证集分别包含 100/50 个完整立体声音轨。此外，该研究还将训练集进一步分解为 86 首训练歌曲和 14 首用于开发和评估的歌曲。

**与以往方法的比较**

表 2 显示了不同方法的比较。第一行显示了 Open-Unmix 的性能，它由三个双向长短期记忆层组成，实现了 6.32 dB 的人声 SDR。第二行显示，在时域中训练的 Wave-U-Net 系统实现的 SDR 略低于其他时频域系统。第三行之后显示了 Demucs、Conv-TasNet、Spleeter 和 D3Net 的结果。

在比较的方法中，D3Net 分别实现了 7.24 dB 和 7.01 dB 的最佳人声和鼓声 SDR。Demucs 达到了 5.83 dB 的最佳低音 SDR，而 Spleeter 在之前的研究中达到了 4.55 dB 的其他最佳 SDR。

如表 2 的最后一行所示，ResUNetDecouple 系统在分离人声、贝斯、其他和伴奏方面明显优于其他方法。

![图片][524f2c15fbbd55ce0669e6d057fe5c6a.png]

**消融实验**

此外，该研究还展示了所提系统的性能。此外还将其与 \[25\] 中的 UNetPhase 系统进行了比较。

表 3 中，UNet、UNetDecouple 和 UNetDecouple+ 是 33 层 UNet 的变体，而 ResUNet、ResUNet Decouple、ResUNetDecoup+ 是 143 层残差 UNet 的变体。UNet 和 ResUNet 是只有幅度掩码的模型，即模型中不考虑相位。

首先，仅预测掩码大小的 UNet 表现略逊于 UNetPhase。其次，实验还比较了第 2-4 行或第 5-7 行内的变化趋势。对于 UNet 和 ResUNet，幅度和相位的解耦提高了性能——使用 UNet 平均提高 0.35 dB，使用 ResUNet 平均提高 0.45 dB。「+」模型显示使用 UNet 和 ResUNet 分别提高了 0.2 dB 和 0.196 dB。该结果表明，结合有界掩码估计和直接幅度预测可以提高 MSS。当其他条件固定时，对于所有源仪器，ResUNet 始终优于 UNet。该研究还展示了 MSS 中非常深的架构的有效性。ResUNet 相对于 UNet 的平均改进为 0.7 dB。

[5cd1eeef482c3d1607cba7c21ee6ffd6.png]: /images/20220828/271a7af675714f2c91271d4fb52d6533.png
[b2b7e725431b489ef519655ab1c75d73.png]: /images/20220828/d148fbeb97294c69a49247f79cb8ae4f.png
[bb28e43bbf475d07f886dd280bc18c0c.png]: /images/20220828/ebdcbef12cfa4203aaf7b9080a042d37.png
[e3a59da11bed0880b7eb663ae25a9474.png]: /images/20220828/13acf6ba8d754952bcbd3cde9e091a84.png
[5420179b639877963cfc0a57c635091e.png]: /images/20220828/f01d96b52c6a4b97a80c15aa83549414.png
[1148d263345e6bb60e84b2711112d530.png]: /images/20220828/aace8adde3b84d7a8ca8d1b3fc640b9e.png
[24c19fd356e362d8f3753484f1f86940.png]: /images/20220828/f9f17903cb6a437cb022b084153eeea4.png
[e828d4f1c522a3424bb6dfccf8c9a704.png]: /images/20220828/6193ebd703c8408eac21717baecb2036.png
[909d88971cd3bf27a686c176e5706363.png]: /images/20220828/765d237b87374fef8302f8d1d4cc9658.png
[1474a4aab98becc0cf077897942cec90.png]: /images/20220828/cb2587fc469b4dea817f1e55854531fa.png
[6a62a17345b0abbd1b6a3178d4c2e9e4.png]: /images/20220828/9e1c14b5f3ce4dd5909e96c82104d785.png
[d21df8142c9eebfda1692e3c90077782.png]: /images/20220828/76e8fc8bafff421d99d128482dc841ad.png
[524f2c15fbbd55ce0669e6d057fe5c6a.png]: /images/20220828/a7c1f3683c5d4156a6a3409b7aea8a9a.png