对话无政府主义者：诺姆·乔姆斯基谈深度学习的未来

今天药忘吃喽~ 2023-01-06 05:39 101阅读 0赞

![format_png][]

全文共**3392**字，预计学习时长**9**分钟

![format_png 1][]

图源：forbes

在过去的几周里，笔者一直在和最喜欢的无政府主义辛迪加主义者诺姆·乔姆斯基进行电子邮件交流。最初联系是为了确认，人工神经网络(ANNs)的最新发展是否促使乔姆斯基重新考虑他的著名语言学理论——普遍语法。

谈话触及了深度学习可能存在的局限性，ANNs在多大程度上模拟了生物大脑，同时也涉及了更多的哲学领域。因为这是场非正式的讨论，在这篇文章中不会直接引用乔姆斯基教授的话，笔者将尝试总结其中的关键内容。

![format_png 2][]

**诺姆·乔姆斯基是谁？**

笔者非常欣赏乔姆斯基的作品，尤其是他对美帝国主义、新自由主义和媒体的批判。我们的观点有些微分歧的地方是关于他对大陆哲学家(特别是法国后结构主义者)的摒弃。

也许因为笔者过多地从福柯、拉康和德里达的作品中汲取灵感而有些思想固化，但我总能发现乔姆斯基对哲学的分析方法在道德上很有吸引力，但它们有点太“干净”了，因而无法令人满意地解释我们的世界。

尽管乔姆斯基对这些后结构主义杰出人物的不屑是显而易见的，但他的哲学观点实际比他的批评者所认为的更为微妙。

![format_png 3][]

图源：Nathan Saad.

![format_png 2][]

**普遍语法**

声明在前，笔者并不是语言学家，但在这一节中，我将尝试对普遍语法理论作一个概述。

在乔姆斯基之前，语言学上的主流假设是，人类天生就像一张白纸，通过强化来习得语言。也就是说，孩子们听到父母说话，他们模仿他们听到的声音，当他们正确地使用一个词或结构一个句子时，他们会受到表扬。

乔姆斯基的研究表明，强化只是故事的一部分，人类大脑中一定普遍存在着固有结构，有助于语言习得。他的主要论点是：

·        儿童习得语言的速度太快，而输入的数据太少，无法用强化学习来解释(这也被称为“刺激的贫乏”论点)。

·        即使面对与人类相同的数据，动物也无法习得语言。20世纪60年代有一个著名的实验，语言学家们试图教一只名叫“NimChimpsky”的猩猩学习手语。但10年后，他除了一些基本的交流技能外，仍然无法与人交流。

·        所有人类语言之间都有共性。这表明，即使语言已经独立发展，因为人类大脑结构相同，所以也存在着普遍的特征。

·        孩子们并不是天生就学习一种特定的语言。如果你在德国抚养一个出生在肯尼亚的孩子长大，他们会像德国孩子一样容易地学会德语。

这个关于基因编码的语言能力的理论在科学界得到了广泛的接受，但是接下来有一个不言而喻的问题，“这种普遍语法实际上看起来像什么?”勇敢的研究人员很快开始发现所有人类语言的共同特性，但对于我们天生的语言能力是什么形式，仍然没有达成共识。

可以有把握地假设，普遍语法不包括具体的语法规则，但更有可能是一种基本的认知功能。乔姆斯基假设，在人类历史的某个时刻，人类发展出了执行一种简单的递归过程的能力，称为“合并”，这是我们在人类语言中看到的语法结构的属性和约束的原因。

它有点抽象，但本质上“合并”是指获取两个对象并将它们组合成一个新对象的过程。虽然这种能力看似平淡无奇，但在精神上结合概念，并递归地这样做，却是一种令人不解的强大能力，它允许我们构建“无数种层次结构的表达式”。

这一微小但至关重要的基因飞跃不仅可以解释我们的语言交流能力，而且可以得出结论，它至少部分地在更广泛的范围内对我们的数学天赋和人类创造力负有责任。这种“融合”突变发生在我们的一个祖先身上，大约10万年前，它可能是区分人类和其他动物的关键因素之一。

![format_png 2][]

**人工神经网络**

![format_png 4][]

图源：unsplash

联系乔姆斯基教授的主要原因是，笔者想听听他对人工神经网络的看法。ANNs是机器学习模型的一个子集，它以人类大脑为模型，并以类似的方式学习(通过查看大量的例子)。这些模型只需要很少的硬编码，并且可以用相对简单的架构执行相当广泛的复杂任务(例如图像标记、语音识别、文本生成)。

这种方法的一个有益例子是谷歌开发的AlphaGo Zero模型，它学会了围棋，最终被人类世界冠军击败。最令人印象深刻的是，它被训练在没有硬编码或人工干预的情况下完成所有这些，这就是“白板”(tabula rasa)。

虽然ANNs肯定不是人类大脑的完美类比，但我问乔姆斯基教授，这些模型是否表明，我们实际上并不需要硬编码的认知结构来从分散的数据中学习。

乔姆斯基正确地指出，ANNs对于高度专业化的任务是有用的，但这些任务必须受到严格的限制(尽管考虑到现代计算机的内存和速度，它们的范围可能看起来很大)。他把ANNs比作在高层建筑上工作的巨型起重机。

尽管令人印象深刻，但这两种工具都存在于具有固定边界的系统中。这一推理思路与我的观察相符:我所目睹的所有深度学习突破都发生在非常特定的领域，我们似乎没有接近人工普遍智能之类的东西。

乔姆斯基还指出，越来越多的证据表明，人工神经网络不能准确地模拟人类的认知，大脑的计算系统是相对丰富的，涉及的内容甚至可能扩展到细胞水平。

如果乔姆斯基是对的(就其价值而言，我认为他是对的)，那么深度学习研究的进展意味着什么?归根结底，人类的大脑并没有什么神奇之处。它只是一种由原子组成的物理结构，因此完全有理由相信，在未来的某个时刻，我们可能能够创造出一种具备一般智能能力的人工大脑。

尽管如此，目前的神经网络只提供了这种认知的模拟，而根据乔姆斯基的逻辑，如果我们不首先提高对有机神经网络运作方式的理解，我们就不可能到达下一个前沿。

![format_png 2][]

**道德相对主义**

![format_png 5][]

对现代数据科学家来说，人工智能的道德使用是一个显著的担忧，但有时，在一个具体的领域，这个概念可能有些模糊和主观。乔姆斯基的工作不仅为深度学习的未来提供了一个独特的技术视角，他的普遍语法也有着深刻的道德含义，因为语言是我们讨论和解释世界的方式。

例如，乔姆斯基的观点是，上述先天神经结构排除了道德相对主义，而且肯定存在普遍的道德约束。道德相对主义有许多不同的流派，但其核心原则是伦理决定不存在客观基础。

道德相对主义者断言，虽然我们可能会深深相信“奴隶制是不道德的”这样的说法，但我们没有经验的方法来向不同意这种观点的人证明这一点，因为任何证明都必然依赖于价值判断，而我们的价值观最终是外生的，是由文化和经验决定的。

乔姆斯基认为，道德表现在大脑中，因此根据定义，道德是一个生物系统。所有的生物系统都在变化着(自然变化和受到不同的刺激)，但它们也存在局限性。以人类的视觉系统为例：实验表明，它具有一定的可塑性，是由经验塑造的(尤其是在幼儿时期)。

通过改变提供给人类视觉系统的数据，你可以改变受体的分布，从而改变个体感知水平线和垂直线的方式。然而，你不能把人的眼睛变成昆虫的眼睛，或者赋予某人看x光的能力。

根据乔姆斯基的理论，生物系统(包括道德)可以发生很大变化，但不是无限的。他接着说，即使你相信我们的道德是完全从文化中衍生出来，你仍然需要以同样的方式获得文化，就像你获得任何系统一样(这是普遍性的先天认知结构的结果)。

我对这种解读最初的保留意见是，如果我们假设道德只是“合并”(或同样原始的东西)的结果，那么尽管这可能会施加理论上的约束，但我的直觉是，我们的道德可能会变化如此之大，以至于实际上不可能做出普遍的总结陈论。

过去，乔姆斯基讨论过道德进步是如何遵循某些趋势的(例如，接受差异，拒绝压迫等)，但很难看出这些广泛的趋势是如何从这样简单的原子认知结构中持续出现的。

当我把这一点告诉乔姆斯基教授时，他认为这种观点是虚幻的，当我们不理解事物时，它们看起来比它们实际的样子更加多样化和复杂。他举了一个寒武纪大爆发以来动物体型变化的例子。

仅仅在60年前，生物学上的主流观点是，有机体的差异如此之大，必须以个体为基础进行研究，但我们现在知道，这是完全错误的，物种之间的遗传变异相当小。复杂获得系统的变化必须是最小的，否则我们就无法获得它们。

![format_png 6][]

**推荐阅读专题**

[![format_png 7][]][format_png 7 1]

[![format_png 8][]][format_png 8 1]

[![format_png 9][]][format_png 9 1]

[![format_png 10][]][format_png 10 1]

![format_png 11][]

**留言点赞发个朋友圈**

**我们一起分享AI学习与发展的干货**

编译组：欧舒蔓、周婷

相关链接：

https://towardsdatascience.com/noam-chomsky-on-the-future-of-deep-learning-2beb37815a3e

如转载，请后台留言，遵守转载规范

**推荐文章阅读**

[ACL2018论文集50篇解读][ACL2018_50]

[EMNLP2017论文集28篇论文解读][EMNLP2017_28]

[2018年AI三大顶会中国学术成果全链接][2018_AI]

[ACL2017论文集：34篇解读干货全在这里][ACL2017_34]

[10篇AAAI2017经典论文回顾][10_AAAI2017]

**长按识别二维码可添加关注**

**读芯君爱你**

![format_png 12][]

[format_png]: /images/20221119/bf06c8cda01848f08a707544ddaf79d7.png
[format_png 1]: /images/20221119/6b9e29102bdc401aa5062ce599911260.png
[format_png 2]: /images/20221119/c5a3c08a9f4642e0b5235352935f3db5.png
[format_png 3]: /images/20221119/28f11a0134154be48c07a0f01d6cb6d9.png
[format_png 4]: /images/20221119/adf5ab5acb8b43bbb7a35ed74151a707.png
[format_png 5]: /images/20221119/a90c6e30770f4cfdb882738e085c26bf.png
[format_png 6]: /images/20221119/15c2d9c54a804d64927890858c654b28.png
[format_png 7]: /images/20221119/bc3705fd962742f681b805bcb3b9caf2.png
[format_png 7 1]: http://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea841ec4ddf397d2bb194670056d7ed973cf4349656e20d98bd139d8a5d99526a799fb243f8d&idx=1&mid=2247493138&scene=21&sn=d2fa895e71260f2576fa952cf2487522#wechat_redirect
[format_png 8]: /images/20221119/cd27c3d81a4d443092b97e3ce81e80dc.png
[format_png 8 1]: http://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea841ed9ddf397cf9a7136dfb1352cf9fb1127b3061293cf716f8ee95b4560e694fce20a1e24&idx=2&mid=2247493135&scene=21&sn=5711dc1074411b7e45b40eb34fecc648#wechat_redirect
[format_png 9]: /images/20221119/33fb20fafe5a418e94a88cee0a5bc6ed.png
[format_png 9 1]: http://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea841ec4ddf397d28ed77a111732be52384c9be414e0aad59c570ada6b29278755d066ae2090&idx=2&mid=2247493138&scene=21&sn=e45fe93b00342ba9eac222f24369d036#wechat_redirect
[format_png 10]: /images/20221119/8d955e9fafc54158898fa44b02518f68.png
[format_png 10 1]: http://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea841ed9ddf397cfbc27f47a160ee926a706f1b3151c53f707c8f221fde0ea51446aabe2148d&idx=1&mid=2247493135&scene=21&sn=cce4cc400933c960a3200fd0dfa4d0a7#wechat_redirect
[format_png 11]: /images/20221119/9ed247554daf4c5b9e05d44b849a794b.png
[ACL2018_50]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea87ee2addf0673cae27c598a097f5addad5d81b2ed766e570f20fc0fb12b77c5cf34098022e&idx=1&lang=zh_CN&mid=2247489276&scene=21&sn=98e22e2b69478303f1f1a0a51e712570&token=192322725#wechat_redirect
[EMNLP2017_28]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea87eaadddf063bb3ab4ec5af616612a45f8d4fe9a5ad558f66278478296060253c1564bd05c&idx=1&lang=zh_CN&mid=2247488123&scene=21&sn=a55185f3a693f7a5d85b1abe3dd36177&token=140500370#wechat_redirect
[2018_AI]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea87f6ebddf07ffd8e84bcc18d7122f894b6cf5dc967daad9c2e122edb22968fd6f589d6852f&idx=1&mid=2247487037&scene=21&sn=37cd38b305aa874c29d764361c88a202#wechat_redirect
[ACL2017_34]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea87f59addf07c8c2480dd46784a431612d099d3d0531449aa8e64f68b3ba340363578d95659&idx=1&mid=2247486796&scene=21&sn=a8ae95efbf16985a259c4cd66bf919f2#wechat_redirect
[10_AAAI2017]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&idx=1&lang=zh_CN&mid=2247487100&scene=21&sn=3bd640ec4f00c5104664687194dd9a51&token=77118319#wechat_redirect
[format_png 12]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi9RR2o3V0YzbFIwUnhhOU42aEo4eFFwdnNaR2ljR09LSXBpYWtCOXlQQjl3RlFvMWliYVB3ZU9qcDFkYndpYWUzdXg4OERXRWg1dExFcHo2S0pqemNVSDVwOWcvNjQw?x-oss-process=image/format,png