深度学习相关资料总结

- 日理万妓 2022-08-12 19:30 229阅读 0赞

注：本文转自[邹宇华][Link 1]的博文《[深度学习相关资料总结][Link 2]》

近这两年里 deep learning 技术在图像识别和跟踪等方面有很大的突破，是一大研究热点，里面涉及的数学理论和应用技术很值得深入研究，这里总结一些在微博发布和转载的相关资料，以便查阅：  
一、  
[@winsty][winsty]

\#NIPS2013\# “Learning A Deep Compact Image Representation for Visual Tracking”  第一次结合 deep learning 和 visual tracking 的尝试，在 GPU 下可以在 MATLAB 里 realtime ，结果可以和 state-of-the-art 相比，还在等什么呢？小伙伴们请猛戳 project page (有 code! )： ![Image 1][][http://t.cn/zRakSQu][http_t.cn_zRakSQu]

[@][Link 3][丕子][Link 3]  
  Yoshua Bengio gave a recent presentation on “Deep Learning of Representation” and Generative Stochastic Networks (GSNs) at MSR and AAAI 2013. Slides of the talk can be accessed from this link. [http://t.cn/zQI3EI1][http_t.cn_zQI3EI1]

二、  
 [@邹宇华][Link 4]

从 CVPR2013 看计算机视觉研究的三个趋势： 1.RGBD 数据的分析； 2. 中层 patch 的分析；3.深度学习与特征学习 |  bfcat- 计算机视觉博客 [http://t.cn/zQhiySm][http_t.cn_zQhiySm]

[@邹宇华][Link 4]

Andrew Ng  研究组在 NIPS'2012 的论文就融合了上一条微博所述的三种趋势，用深度学习技术分析 RGBD 数据，实现三维物体分类。 Convolutional-Recursive Deep Learning For 3D Object Classification - ![Image 1][][www.socher.org][] ![Image 1][][http://t.cn/zQzQqut][http_t.cn_zQzQqut]   
  
三、  
[@][Link 5][图像视觉研究][Link 5]

PAMI 的 Special Section on Learning Deep Architectures 终于出来了，2013年的第8期 ![Image 1][] [http://t.cn/zHuYhzw][http_t.cn_zHuYhzw]  。 一共7篇 DL 相关的文章，第一篇就是 Representation Learning: A Review and New Perspectives  。 Early Access 里面还有好几篇 DL 文章不在这一期。  
  
四、  
[@数据挖掘\_PHP][PHP]

【 Deep Learning  相关资料汇总 】1、 DL 能干什么 >> [http://t.cn/zY75Wsz][http_t.cn_zY75Wsz] 2、A tutorial on Deep Learning>>![Image 1][][http://t.cn/zOyNTu][http_t.cn_zOyNTu]  
  
[@][Link 6][张杰][Link 6][\_][Link 6][NoahArk][Link 6]  
这个是实战, 如何用Python实现深度学习 ![Image 1][] [http://t.cn/SVDKZh][http_t.cn_SVDKZh] Code ![Image 1][][http://t.cn/zYUtj3G][http_t.cn_zYUtj3G] Survey Papers 很多，不过初学看这两篇应该就够了  Representation Learning: A Review and New Perspectives （2012）， Learning Deep Architectures for AI. (2009).  
  
五、  
 [@邹宇华][Link 4]

这里也有一个非常赞的 Deep Learning 学习笔记系列，博主结合 Andrew Ng 的教程来写，而且把教程每一部分的练习都做了一遍，目前已经写到第 23 篇了，佩服！![Image 1][] Deeplearning： 一(基础知识\_1) -  tornadomeet  \- 博客园 ![Image 1][] [http://t.cn/zYBHy0p][http_t.cn_zYBHy0p]  
  
六、  
 [@邹宇华][Link 4]

整理得很不错的 Deep Learning 学习笔记，推荐！  Deep Learning （深度学习）学习笔记整理系列之（一）  \- zouxy09 的专栏 - 博客频道  \-  CSDN.NET ![Image 1][][http://t.cn/zTGh2Ts][http_t.cn_zTGh2Ts]  
  
七、  
[@][Link 7][李岩\_ICT\_人脸识别][Link 7]

A good summary of Deep Learning at NIPS2012. ![Image 1][][http://t.cn/zj8L6WF][http_t.cn_zj8L6WF]  
  
 [@邹宇华][Link 4]    
不在北京的同学可以看看 Andrew 在 NIPS 2012 的同名报告，这里还有个100多页的 ppt ![Image 1][] [http://t.cn/zYFa89k][http_t.cn_zYFa89k] 。 Machine Learning and AI via Brain simulations | TechTalks.tv ![Image 1][][http://t.cn/zjD7lK4][http_t.cn_zjD7lK4]  
  
八、  
[@邹宇华][Link 4]

Scaling Deep Learning by Jeff Dean in ICML'2012 | TechTalks.tv ![Image 1][][http://t.cn/zW1L7pd][http_t.cn_zW1L7pd]  
  
九、  
[@邹宇华][Link 4]

Many useful links about Deep Learning in this blog - Notes from BayLearn 2012 ![Image 1][][http://t.cn/zTvuToC][http_t.cn_zTvuToC]   
  
十、  
[@Mr-Pandaria][Mr-Pandaria]

DeepLearning 的入门还是看 Yoshua Bengio 的综述文章就好了， 今年十月有一篇新的综述， ![Image 1][] [http://t.cn/zW18qVs][http_t.cn_zW18qVs]  。 我只看了十几页，读起来很舒服，写的还比较诚恳， 承认了 deep learning 中很多不足和尚未解决的问题。  
  
十一、  
[@邹宇华][Link 4]

Invited talk "A Tutorial on Deep Learning" by Dr. Kai Yu ( 余凯 ) [http://t.cn/zjff9nE][http_t.cn_zjff9nE]

十二、

[@微软亚洲研究院][Link 8]

通过实验验证， Andrew Ng 斯坦福大学研究团队开发的深度学习算法准确度为19.2%，远远高于随机预测(0.005%)或者 state-of-art 方法(9.5%)。【 Andrew Ng 主题演讲：深度学习】 Andrew Ng 在微软教育峰会分享 Deep Learning 核心思想：把学习框架看作一个层级式网络，可以根据如下程序进行训练1)用无监督学习为每层网络训练2)前者训练结果作为更高一层的输入3)用监督学习调整全部层级，模拟人脑分析学习。 Slides 下载 >> |andrew-ng\_machinelearning.pdf [http://t.cn/zQNKJgF][http_t.cn_zQNKJgF]

十三、

[@鲍捷AI][AI]

Kevin Duh 关于深度学习的这两个教程不错，面带到了，深度适当，比较好懂． Deep Learning: An Introduction from the NLP Perspective，[http://t.cn/zH3TzZ2][http_t.cn_zH3TzZ2] 。Recent Advances in Deep Learning， [http://t.cn/zH3TzZL][http_t.cn_zH3TzZL] 。

十四、

[@王威廉][Link 9]

发现微软雷德蒙研究院语音组大牛邓力和俞栋研究员今年初写了一本《信号及信息处理的深度学习方法》来总结一些深度学习的最新进展，一共才100页不到，很容易就能读完。本书总结了深度学习各种 trick ，算是关于深度学习最新的教材了，而且非常适合做语音的同学阅读。下载地址： [http://t.cn/zQv3gM2][http_t.cn_zQv3gM2]

十五、

// @ 陈利人:深度挖掘深度学习。 //@vinW:  原来还可以更古老// @ 老师木:  Fukushima  的  neocognitron  更早，不过只是描述了 how ，我认为  linsker  在  88 年左右的工作揭示了  why //@Hyperddr:  我上次转的那篇论文是 98 年的，这个好像更老。。不过@老师木 转的那篇是88年的, 全都是 deep learning 的起源。  
[@vinW][vinW]

话说机器学习界在深挖深度学习时，大多被1996年《自然》杂志上一篇牛文给震到。因为它直指深度学习的核心之一：稀疏编码。这挺像武侠江湖，你从藏经洞里找到的上古秘笈永远是最牛的 论文： [http://t.cn/zHK5iNg][http_t.cn_zHK5iNg]  代码  [http://t.cn/zHK5iNd][http_t.cn_zHK5iNd]

十六、

[@余凯\_西二旗民工][Link 10]: 同推荐。这是去年夏天在加州大学洛杉矶分校的 summer school . 的确深度学习的主要人物都参加了。上面的讲义全面覆盖了深度学习的各个方面。  
[@cswhjiang][cswhjiang]  
[http://t.cn/zWyVo2h][http_t.cn_zWyVo2h] IPAM Summer School on Deep Learning and Feature Learning 的视频（有如下大牛 ：Geoffrey Hinton, Yann LeCun, Yoshua Bengio, Andrew Ng, Stephen Wright, Kai Yu@ 余凯\_西二旗民工 等..）

[Link 1]: http://my.csdn.net/chenyusiyuan
[Link 2]: http://blog.csdn.net/chenyusiyuan/article/details/13510175
[winsty]: http://weibo.com/u/1218274631
[Image 1]: 
[http_t.cn_zRakSQu]: http://t.cn/zRakSQu
[Link 3]: http://weibo.com/pagecn
[http_t.cn_zQI3EI1]: http://t.cn/zQI3EI1
[Link 4]: http://weibo.com/chenyusiyuan
[http_t.cn_zQhiySm]: http://t.cn/zQhiySm
[www.socher.org]: http://www.socher.org/
[http_t.cn_zQzQqut]: http://t.cn/zQzQqut
[Link 5]: http://weibo.com/imagevisionresearch
[http_t.cn_zHuYhzw]: http://t.cn/zHuYhzw
[PHP]: http://weibo.com/n/%E6%95%B0%E6%8D%AE%E6%8C%96%E6%8E%98_PHP
[http_t.cn_zY75Wsz]: http://t.cn/zY75Wsz
[http_t.cn_zOyNTu]: http://t.cn/zOyNTu
[Link 6]: http://weibo.com/appmall
[http_t.cn_SVDKZh]: http://t.cn/SVDKZh
[http_t.cn_zYUtj3G]: http://t.cn/zYUtj3G
[http_t.cn_zYBHy0p]: http://t.cn/zYBHy0p
[http_t.cn_zTGh2Ts]: http://t.cn/zTGh2Ts
[Link 7]: http://weibo.com/n/%E6%9D%8E%E5%B2%A9_ICT_%E4%BA%BA%E8%84%B8%E8%AF%86%E5%88%AB
[http_t.cn_zj8L6WF]: http://t.cn/zj8L6WF
[http_t.cn_zYFa89k]: http://t.cn/zYFa89k
[http_t.cn_zjD7lK4]: http://t.cn/zjD7lK4
[http_t.cn_zW1L7pd]: http://t.cn/zW1L7pd
[http_t.cn_zTvuToC]: http://t.cn/zTvuToC
[Mr-Pandaria]: http://weibo.com/realpandaprince
[http_t.cn_zW18qVs]: http://t.cn/zW18qVs
[http_t.cn_zjff9nE]: http://t.cn/zjff9nE
[Link 8]: http://weibo.com/msra
[http_t.cn_zQNKJgF]: http://t.cn/zQNKJgF
[AI]: http://weibo.com/baojieai
[http_t.cn_zH3TzZ2]: http://t.cn/zH3TzZ2
[http_t.cn_zH3TzZL]: http://t.cn/zH3TzZL
[Link 9]: http://weibo.com/u/1657470871
[http_t.cn_zQv3gM2]: http://t.cn/zQv3gM2
[vinW]: http://weibo.com/468a
[http_t.cn_zHK5iNg]: http://t.cn/zHK5iNg
[http_t.cn_zHK5iNd]: http://t.cn/zHK5iNd
[Link 10]: http://weibo.com/n/%E4%BD%99%E5%87%AF_%E8%A5%BF%E4%BA%8C%E6%97%97%E6%B0%91%E5%B7%A5
[cswhjiang]: http://weibo.com/learning120
[http_t.cn_zWyVo2h]: http://t.cn/zWyVo2h