量子CNN不存在梯度消失问题，物理学家已完成理论证明

港控/mmm° 2022-08-28 02:57 146阅读 0赞

##### 丰色 发自 凹非寺   量子位 报道 | 公众号 QbitAI #####

量子计算机上的机器学习，也就是**量子神经网络**（QNN），有许多传统神经网络望尘莫及的潜力，比如量子数据分析。

然而许多QNN架构，没法对大型问题进行训练，因为它们都存在着“贫瘠高原”（barren plateau），也就是随系统规模增大**梯度呈指数级消失**的问题。

这无疑当头一盆冷水。

克服不了这个问题，就没法挖掘量子计算机在人工智能应用中的全部潜力。

好在，来自美国阿拉莫斯实验室（LANL）的科学家经过分析发现，最新提出的**量子卷积神经网络** （QCNN），**不会出现梯度消失**！

![9d5580dc8fa69c29120392c9371cb6f3.png][]

这一发现无疑具有巨大的突破性，可以为量子人工智能在材料发现等应用的研究之路清除障碍。

## 不存在梯度消失问题的量子卷积神经网络 ##

先来看看什么是量子卷积神经网络。

它由哈佛大学于2019年提出，是一种特殊的量子神经网络，涉及一系列卷积层和池化层交错，在保留相关数据特征信息的同时减少了量子比特的数量。

![a6450aa9bce558a6d09aca07443c2508.png][]

QCNN可用于纠错、量子相位检测和图像识别等方面。

###### **![1967a8c7da4b3cd52c253714018aa0af.png][]** ######

###### **△** QCNN概念图 ######

来自阿拉莫斯实验室的研究人员一直在研究如何减轻量子神经网络中“贫瘠高原”的影响，但一直缺乏完全规避该问题的方法。

ps.之所以在量子计算机中叫**“贫瘠高原”**，是因为它和普通神经网络中的梯度消失还不能说是完全一模一样。

“贫瘠高原”是指当量子计算机的比特数目较大时，当前量子神经网络的框架很容易变得无法有效进行训练，其目标函数会变得很平，导致梯度太低难以继续训练。

![9aa6423820e776f2544fd77fda9c63ff.png][]

回到此项研究，这次研究人员针对以下两个假设严格分析了QCNN成本函数梯度的scaling：

（1） QCNN中的所有2-qubit单元形成独立不相关的2-designs（用低深度量子电路可轻松满足）；

（2）成本函数相对于输入密度矩阵是线性的。

最终，在这两个假设下，他们证明了成本函数偏导数的方差随着系统大小消失的速度并不比多项式快。

这意味着成本函数landscape中不会表现出“贫瘠高原”，因此QCNN体系结构可以**在参数的随机初始化下进行训练**——这可是许多QNN体系结构都不能做到的。

![dd5f3854300897a437da5ac6e2a85fa3.png][]

ps.证明过程采用了一种新的图形表示方法，也涉及了较复杂的推导，感兴趣的可以查看论文。

研究人员表示，这样的QCNN是可以短期内实现量子计算机机器学习优势的候选框架。

具体的例子比如，将陶瓷材料作为高温超导体改善磁悬浮列车等无摩擦运输时，需要筛选给定材料各种状态的大量相（phase）数据集，并将这些状态与相位关联，以确定高温超导的最佳状态。

但这种事情普通计算机上的神经网络根本没法做到，而量子神经网络在未来就可以。

论文地址：  
https://journals.aps.org/prx/abstract/10.1103/PhysRevX.11.041011

参考链接：  
https://phys.org/news/2021-10-breakthrough-proof-path-quantum-ai.html

[9d5580dc8fa69c29120392c9371cb6f3.png]: /images/20220828/21cb6dd714b24f68a43ebc3042e544c5.png
[a6450aa9bce558a6d09aca07443c2508.png]: /images/20220828/35c14b3811ef4e4688147388a3f016de.png
[1967a8c7da4b3cd52c253714018aa0af.png]: /images/20220828/3f788c344a8b47048a06f76bd6e8f340.png
[9aa6423820e776f2544fd77fda9c63ff.png]: /images/20220828/efdcd0ee15c24622b70a300576d8e256.png
[dd5f3854300897a437da5ac6e2a85fa3.png]: /images/20220828/0dcd71142c4f49799a514c24cd45af68.png

发表评论取消回复

表情：

评论列表（有 0 条评论，146人围观）

还没有评论，来说两句吧...

相关阅读

相关梯度消失_lstm如何解决梯度消失

顾名思义,梯度下降法的计算过程就是沿梯度下降的方向求解极小值(也可以沿梯度上升方向求解极大值).其迭代公式为,其中代表梯度负方向,表示梯度方向上的搜索步长.梯度方向我们可以通过

╰+攻爆jí腚メ/ 2023年09月24日 03:29/ 0 赞/ 130 阅读

相关梯度消失与梯度爆炸解释

目录 what & why how what & why 首先，什么是梯度爆炸、梯度消失，或者说，emmmm，什么是梯度？下面通过一个神经网络来

港控/mmm°/ 2023年01月06日 01:26/ 0 赞/ 224 阅读

相关机器学习中梯度爆炸、梯度消失问题

正常损失训练图 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

我就是我/ 2022年12月24日 10:58/ 0 赞/ 204 阅读

相关量子CNN不存在梯度消失问题，物理学家已完成理论证明

丰色发自凹非寺量子位报道 | 公众号 QbitAI 量子计算机上的机器学习，也就是量子神经网络（QNN），有许多传统神经网络望尘莫及的潜力，比如量子数据分析。

港控/mmm°/ 2022年08月28日 02:57/ 0 赞/ 147 阅读

相关深度学习：梯度消失和梯度爆炸

http://[blog.csdn.net/pipisorry/article/details/71877840][blog.csdn.net_pipisorry_articl

淩亂°似流年/ 2022年06月16日 10:51/ 0 赞/ 295 阅读

相关消失的梯度问题（vanishing gradient problem）

784节点输入层\+单30节点隐藏层\+10节点输出层在《[神经网络的优化方式][Link 1]》中已经表现的很好了，达到了96.35%的准确率，如果增加神经网络的隐藏层深度效

r囧r小猫/ 2022年05月31日 11:14/ 0 赞/ 210 阅读

相关机器学习梯度消失，梯度爆炸原因

转载自[https://blog.csdn.net/qq\_25737169/article/details/78847691][https_blog.csdn.net_qq

迷南。/ 2022年05月19日 01:58/ 0 赞/ 265 阅读

相关梯度消失和梯度爆炸问题详解

1.为什么使用梯度下降来优化神经网络参数？反向传播（用于优化神网参数）：根据损失函数计算的误差通过反向传播的方式，指导深度网络参数的更新优化。采取反向传播的原因：首

心已赠人/ 2022年05月14日 16:49/ 0 赞/ 352 阅读

相关工作证明机制存在哪些问题？

![70][] 比特币作为第一加密货币，在Block的生成过程中就使用了工作证明机制，该机制中，节点需要去解决一些计算困难、验证简单的问题。矿工要进行算力竞争

男娘i/ 2022年05月11日 05:08/ 0 赞/ 187 阅读

相关梯度消失和梯度爆炸

产生原因层数比较多的神经网络模型在使用梯度下降法对误差进行反向传播时会出现梯度消失和梯度爆炸问题。梯度消失问题和梯度爆炸问题一般会随着网络层数的增加变得越来越明显

朴灿烈づ我的快乐病毒、/ 2022年02月14日 04:29/ 0 赞/ 410 阅读