有关于HMAX的资料2

清疚 2022-08-06 14:26 88阅读 0赞

转载于：http://sinacn.weibodangan.com/t/?t=zYtPH51

【2】

1981 年的诺贝尔医学奖，颁发给了 David Hubel 和 Torsten Wiesel，以及 Roger Sperry。前两位的主要贡献，是 “发现了视觉系统的信息处理”\[1\]。

1958 年，David Hubel 和 Torsten Wiesel 在 John Hopkins University，研究瞳孔区域与大脑皮层神经元的对应关系。他们在猫的后脑头骨上，开了一个 3 毫米的小洞，向洞里插入电极，测量神经元的活跃程度。

然后，他们在小猫的眼前，展现各种形状、各种亮度的物体。并且，在展现每一件物体时，还改变物体放置的位置和角度。他们期望通过这个办法，让小猫瞳孔感受不同类型、不同强弱的刺激。

之所以做这个试验，目的是去证明一个猜测。位于后脑皮层的不同视觉神经元，与瞳孔所受刺激之间，存在某种对应关系。一旦瞳孔受到某一种刺激，后脑皮层的某一部分神经元就会活跃。

经历了很多天反复的枯燥的试验，同时牺牲了若干只可怜的小猫，David Hubel 和 Torsten Wiesel 发现了一种被称为 “方向选择性细胞（Orientation Selective Cell）”的神经元细胞。当瞳孔发现了眼前的物体的边缘，而且这个边缘指向某个方向时，这种神经元细胞就会活跃。

这个发现激发了人们对于神经系统的进一步思考。神经-中枢-大脑的工作过程，或许是一个不断迭代、不断抽象的过程。

这里的关键词有两个，一个是抽象，一个是迭代。从原始信号，做低级抽象，逐渐向高级抽象迭代。人类的逻辑思维，经常使用高度抽象的概念。

例如，从原始信号摄入开始（瞳孔摄入像素 Pixels），接着做初步处理（大脑皮层某些细胞发现边缘和方向），然后抽象（大脑判定，眼前的物体的形状，是圆形的），然后进一步抽象（大脑进一步判定该物体是只气球）。

这个生理学的发现，促成了计算机人工智能，在四十年后的突破性发展。

Reference,

\[1\] The Nobel Prize in Physiology or Medicine 1981.

http://www.nobelprize.org/nobel\_prizes/medicine/laureates/1981/

【3】

1995 年前后，Bruno Olshausen 和 David Field 两位学者任职 Cornell University，他们试图同时用生理学和计算机的手段，双管齐下，研究视觉问题。

他们收集了很多黑白风景照片，从这些照片中，提取出 400 个小碎片，每个照片碎片的尺寸均为 16x16 像素，不妨把这 400 个碎片标记为 S\[i\], i = 0,.. 399。

接下来，再从这些黑白风景照片中，随机提取另一个碎片，尺寸也是 16x16 像素，不妨把这个碎片标记为 T。

他们提出的问题是，如何从这 400 个碎片中，选取一组碎片，S\[k\], 通过叠加的办法，合成出一个新的碎片，而这个新的碎片，应当与随机选择的目标碎片 T，尽可能相似，同时，S\[k\] 的数量尽可能少。用数学的语言来描述，就是，

Sum\_k (a\[k\] \* S\[k\]) --> T, 其中 a\[k\] 是在叠加碎片 S\[k\] 时的权重系数。

为解决这个问题，Bruno Olshausen 和 David Field 发明了一个算法，稀疏编码（Sparse Coding）。稀疏编码是一个重复迭代的过程，每次迭代分两步。

1. 选择一组 S\[k\]，然后调整 a\[k\]，使得 Sum\_k (a\[k\] \* S\[k\]) 最接近 T。

2. 固定住 a\[k\]，在 400 个碎片中，选择其它更合适的碎片S’\[k\]，替代原先的 S\[k\]，使得 Sum\_k (a\[k\] \* S’\[k\]) 最接近 T。

经过几次迭代后，最佳的 S\[k\] 组合，被遴选出来了。令人惊奇的是，被选中的 S\[k\]，基本上都是照片上不同物体的边缘线，这些线段形状相似，区别在于方向。\[1\]

Bruno Olshausen 和 David Field 的算法结果，与 David Hubel 和 Torsten Wiesel 的生理发现，不谋而合！

人工智能更加逼近自然智能了！

[![Deep <wbr>Learning <wbr>【2,3】][Deep_wbr_Learning_wbr_2_3]][Deep_wbr_Learning_wbr_2_3_Deep_wbr_Learning_wbr_2_3]

图一. Illustration of Sparse Coding。

Reference,

\[1\] Emergence of Simple-Cell Receptive Field Properties by Learning a Sparse Code for Natural Images.

http://redwood.berkeley.edu/bruno/papers/nature-paper.pdf

[Deep_wbr_Learning_wbr_2_3]: http://s11.sinaimg.cn/bmiddle/46d0a393td5034dd0799a&690
[Deep_wbr_Learning_wbr_2_3_Deep_wbr_Learning_wbr_2_3]: /images/20220806/8c6bfa24ad194eba832c95ef4c921593.png