分离人声和伴奏

野性酷女 2022-09-12 07:53 94阅读 0赞

点击上方“**机器学习与生成对抗网络**”，关注星标

获取有趣、好玩的前沿干货！

##### 博雯 发自 凹非寺   量子位 报道 | 公众号 QbitAI    #####

写歌填词、改换风格、续写音乐的AI，今天又来做编曲人了！

上传一段《Stay》，一键按下：

![ae1c5f63d03261273f3b12091d0a1f00.png][]

伴奏和人声就轻松分离。

人声颇有种在空旷地带清唱的清晰感，背景乐都能直接拿去做混剪了！

![938bd2b10218ee7bcb205c81f0f3ca6b.png][]

这样惊人的效果也引发了Reddit热议：

![290a1c2a8c15d883f141f9b42b647976.png][]

这项研究的主要负责人孔秋强来自字节跳动，全球最大的古典钢琴数据集GiantMIDI-Piano，也是由他在去年牵头发布的。

那么今天，他又带来了怎样的一个AI音乐家呢？

一起来看看。

## 基于深度残差网络的音源分离 ##

这是一个包含了相位估计的音乐源分离（MSS）系统。

首先，将幅值（Magnitude）与相位（Phase）解耦，用以估计复数理想比例掩码（cIRM）。

其次，为了实现更灵活的幅值估计，将有界掩码估计和直接幅值预测结合起来。

最后，为MSS系统引入一个**143**层的深度残差网络（Deep Residual UNets），利用残差编码块（REB）和残差解码块（RDB）来增加其深度：

![ca7515ff99120f9e919bae473b6ea160.png][]

残差编码块和残差卷积块中间还引入了中间卷积块（ICB），以提高残差网络的表达能力。

其中每个残差编码块由4个残差卷积块（RCB）组成，残差卷积块又由两个核大小为3×3的卷积层组成。

每个残差解码块由8个卷积层和1个反卷积层组成。

![9bfd2c6b6b7a0a696df8dc0839c697d0.png][]

## 实验结果    ##

接下来，将这一系统在MUSDB18数据集上进行实验。

MUSDB18中的训练/验证集分别包含100/50个完整的立体声音轨，包括独立的人声、伴奏、低音、鼓和其他乐器。

在训练时，利用上述系统进行并行的混合音频数据增强，随机混合来自同一来源的两个3秒片段，然后作为一个新的3秒片段进行训练。

以信号失真率（SDR）作为评判标准，可以看到ResUNetDecouple系统在分离人声、低音、其他和伴奏方面明显优于以前的方法：

![269c1274b2d30b046ed8804f762290d8.png][]

在消融实验中，143层残差网络的表现也证实了，结合有界掩码估计和直接幅值预测确实能够改善声音源分离系统的性能。

![cdd1aab675b7385922603739bd5b94a0.png][]

## 作者介绍    ##

这项研究的论文一作为孔秋强，本硕都毕业于华南理工大学，博士则毕业于英国萨里大学的电子信息工程专业。

他在2019年加入字节跳动的Speech, Audio and Music Intelligence研究小组，主要负责音频信号处理和声音事件检测等领域的研究。

![a97943fc28325dd946539a7f63995cc6.png][]

论文：  
https://arxiv.org/abs/2109.05418

试玩：  
https://huggingface.co/spaces/akhaliq/Music\_Source\_Separation

开源地址：  
https://github.com/bytedance/music\_source\_separation

参考链接：  
https://www.reddit.com/r/MachineLearning/comments/pqpl7m/r\_decoupling\_magnitude\_and\_phase\_estimation\_with/

— **完** —

**猜您喜欢：**

[**等你着陆！【GAN生成对抗网络】知识星球！**][GAN]

**[CVPR 2021 | GAN的说话人驱动、3D人脸论文汇总][CVPR 2021 _ GAN_3D]**

**[CVPR 2021 | 图像转换 今如何？几篇GAN论文][CVPR 2021 _ _ _GAN]**

[**【CVPR 2021】通过GAN提升人脸识别的遗留难题**][CVPR 2021_GAN]

[**CVPR 2021生成对抗网络GAN部分论文汇总**][CVPR 2021_GAN 1]

[**经典GAN不得不读：StyleGAN**][GAN_StyleGAN]

[**最新最全20篇！基于 StyleGAN 改进或应用相关论文**][20_ StyleGAN]

**[超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

[**附下载 | 《Python进阶》中文版**][_ _Python]

[**附下载 | 经典《Think Python》中文版**][_ _Think Python]

[**附下载 | 《Pytorch模型训练实用教程》**][_ _Pytorch]

[**附下载 | 最新2020李沐《动手学深度学习》**][_ _2020]

**[附下载 | 《可解释的机器学习》中文版][Link 1]**

[**附下载 |《TensorFlow 2.0 深度学习算法实战》**][_TensorFlow 2.0]

**[附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！][_ _100_CVPR 2020_GAN]**

**[附下载 |《计算机视觉中的数学方法》分享][Link 2]**

![8dac83b06b344b2d06660fef475c8c28.png][]

[ae1c5f63d03261273f3b12091d0a1f00.png]: /images/20220828/64b31b37a2e241629a785b38e8c1698e.png
[938bd2b10218ee7bcb205c81f0f3ca6b.png]: /images/20220828/1e94a3cf378247c78b7101eb22630657.png
[290a1c2a8c15d883f141f9b42b647976.png]: /images/20220828/7c020c760aa947dd8eda760b96e92e29.png
[ca7515ff99120f9e919bae473b6ea160.png]: /images/20220828/65d311175d704a8ea057f1833584b843.png
[9bfd2c6b6b7a0a696df8dc0839c697d0.png]: /images/20220828/b20c10b300d7474396934f0dfe6bcad8.png
[269c1274b2d30b046ed8804f762290d8.png]: /images/20220828/7a96239b0bca44b492acd92919a9cf9f.png
[cdd1aab675b7385922603739bd5b94a0.png]: /images/20220828/2a0f4afd18fb400e82041e1047281c6c.png
[a97943fc28325dd946539a7f63995cc6.png]: /images/20220828/db82f3ad436a4320a0b47057e7cf2334.png
[GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247493528&idx=1&sn=a6ad486ec02f36c97bc9a7c86f986765&chksm=fe2a4523c95dcc3526ebf62751f7a8f319082ed358f3a8c37e98188206f7d71daf2885028bf9&scene=21#wechat_redirect
[CVPR 2021 _ GAN_3D]: https://blog.csdn.net/moxibingdao/article/details/116773486
[CVPR 2021 _ _ _GAN]: https://blog.csdn.net/moxibingdao/article/details/115410691
[CVPR 2021_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247491634&idx=1&sn=427cb6bfd6868662f2b5ae1ac37f6072&chksm=fe2a4289c95dcb9f047c18e63b3be9d78e5e75f1d94dc80be34686ce6b4f22cdee2d7cc7f2ae&scene=21#wechat_redirect
[CVPR 2021_GAN 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247490911&idx=1&sn=671926492c3b36e3350db4963f7fcb16&chksm=fe29bfe4c95e36f275332b31b993532b98d52acc76d26c15e2321de4cf52141510bee3ff96af&scene=21#wechat_redirect
[GAN_StyleGAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247490656&idx=2&sn=bbe156fef077f23263b57e506ad43314&chksm=fe29bedbc95e37cd709f583372918478ad8d3cff5309a85f3a940e7c0356050278f89d7e1c79&scene=21#wechat_redirect
[20_ StyleGAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247490498&idx=1&sn=324cfbbde362a728aa5336f4b200f7a3&chksm=fe29b979c95e306f03b134809b16009d06aa0694b03da3368f84625de3700e6a56221d49d1bf&scene=21#wechat_redirect
[100_CVPR 2020_GAN]: https://blog.csdn.net/lgzlgz3102/article/details/107075585
[_ _Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247485709&idx=2&sn=55a51c98ab48f393ba305c082ba0e4fe&chksm=fe29abb6c95e22a04d1eb019f964c8ae97b2f3af98c22f730f5d5ed2aea9fdb320b00c688967&scene=21#wechat_redirect
[_ _Think Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247485091&idx=2&sn=f569d5d70c2e6c9cc567fbc5147787a4&chksm=fe29a418c95e2d0e9a3de46e0e4d1b8d4947154d8639418a511a3091300aa31699932046556e&scene=21#wechat_redirect
[_ _Pytorch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247485635&idx=2&sn=90608bce32fe353cf3c64b39e3406bc3&chksm=fe29aa78c95e236e380c9fd2ae79917d7451ccdd4803c5e6047a16f921d1b61d18efc79ada7c&scene=21#wechat_redirect
[_ _2020]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247484959&idx=2&sn=563999cc8d48498beed00270844ceec4&chksm=fe29a4a4c95e2db2aab16bdcefa78795bbb7efbc70b533bb197d73f617558f2f8a523120c6e3&scene=21#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247484929&idx=1&sn=523220858287ed3e6105919703c8e833&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&scene=21#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247485195&idx=2&sn=e3387067db29d1759755c6c2ea96c870&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&scene=21#wechat_redirect
[_ _100_CVPR 2020_GAN]: https://blog.csdn.net/lgzlgz3102/article/details/114860515
[Link 2]: https://blog.csdn.net/Sophia_11/article/details/119193147
[8dac83b06b344b2d06660fef475c8c28.png]: /images/20220828/d90987d5a4a44f74bc7aa373c112ce6b.png