迷失密林：直观了解机器学习的稀疏性！

小灰灰 2022-11-22 05:26 115阅读 0赞

![format_png][]

全文共**2096**字，预计学习时长**6**分钟

![format_png 1][]

图源：unsplash

看看这个美丽的森林，现在，假设你有机会在其中进行数据分析。你的任务是找出森林中每个区域的熊猫数量与树木数量的比。成功分析后，会发现树木的密度高于熊猫密度。转换为矩阵形式，差不多是这个样子：

![format_png 2][]

图源：freepik.com

其中散落着一些可爱的大熊猫，但是矩阵的密度主要源于树木。设树木值=“0”，则熊猫值=任何非零值，表示为“1”。然后，该图像将变成由0和1组成的矩阵，这意味着整个矩阵的密度包括大量0和极少量1。

这种包括大量0和极少非0数值的矩阵就是稀疏矩阵。

我们在机器学习和深度学习中总会遇到很多稀疏问题。它们常出没于数据计数及单词编码，并且大多发生在自然语言处理领域中用tf-idf，word2vec等概念对单词进行矢量化处理时。

那么这是不是意味着，稀疏是个好东西？绝对不是！稀疏没啥大用，甚至还会帮倒忙。接下来，我们就来说说它带来的问题。

稀疏矩阵的问题

·        由于矩阵结构中存在大量的冗余0，稀疏矩阵的计算代价极高。这么多的0极大增加了空间的复杂性，让问题解决变得难上加难。规模的增加以及可能导致的各种资源缺乏会令机器学习算法效果大打折扣。

·        另一个重要问题是缩短了计算矩阵的有效时长，降低机器学习算法的计算处理速度。这会带来重大问题——整体上糟糕的，甚至是十分可怕的时间复杂度。这是都是更长的计算过程时间造成的。

应对稀疏矩阵的方法

假设我们有一个大且稀疏的矩X——这意味着与非零值相比，它有很多零，如下所示：

![format_png 3][]

解决问题的主要思路是必须替代它们，因为零会增加时空的复杂性。得用各种代表非零值的键的字典(dok)或列表的列表(lil)，过程如下：

![format_png 4][]

上表展示了解决此问题的绝妙方法。由此可以形成一个仅包含有用的非零数字的简化方程。下面的两种方法可以有效地表示稀疏矩阵：

·        压缩稀疏行：这种转换方法利用了上表的内容，即行和列的元组后面分别跟一个非零值来表示稀疏矩阵。

·        压缩稀疏列：这种转换方法利用了上表的内容，即列和行的元组后面分别跟一个非零值来表示稀疏矩阵。

压缩稀疏行(CSR)及压缩稀疏列（CSC）最能有效地表示稀疏矩阵。我更推荐CSR矩阵，而非CSC矩阵，因为我习惯用CSR了，并且它最标准。我也会使用Python中的scipy模块显示CSR和CSC转换的代码，选择适合自己的就好。

不多说理论了，撸起袖子直接编码！

用稀疏矩阵编码

开始吧！仅用numpy和scipy两个机器学习库就足矣计算上图的矩阵。可以使用简单的pip install命令安装这些文件。安装完成后，根据需要对矩阵进行构架并将其分配给变量。

下面的代码块代表了库的导入以及稀疏矩阵的创建过程，还有各个输出的图像。

import numpy as np      from scipy.sparse import csr_matrix             a =np.array([[0,0,0,5,0,0,0,0],                    [0,0,0,0,0,0,1,0],                    [6,0,0,0,0,0,0,0],                    [0,0,7,0,0,0,0,0],                    [0,0,0,0,0,8,0,0],                    [0,9,0,0,0,0,0,0]])             print(a)

![format_png 5][]

下一步是将该稀疏矩阵转换为压缩稀疏行（CSR）格式，输出类似于先前的表格，转换的代码块如下所示。另外，注意到该图中的（行，列）元组后跟都一个非零数字。

# Convert to CSR_Matrix         csr = csr_matrix(a)          print(csr)

![format_png 6][]

若要将其转换回稀疏矩阵，则只需使用todense（）函数，如下一个代码块所示：

# Convert back to dense matrix             dense =csr.todense()       print(dense)

![format_png 5][]

若想知道如何对压缩的稀疏列矩阵进行相同的处理，看下一个代码块：

# Convert to CSC_Matrix             fromscipy.sparse import csc_matrix             csc =csc_matrix(a)          print(csc)

![format_png 7][]

这就能说明所有的稀疏核心概念了。这样，我们就结束了关于稀疏性的讨论。稀疏矩阵在机器学习中极为常见，我们必须了解它们可能引起什么问题以及如何准确解决这些问题。

稀疏直觉必须有，要进行自然语言处理、计算机视觉项目、推荐系统以及任何数据中包含非零和零的数据的复杂任务时更应如此。这些不仅在机器学习中常见，在深度神经网络中也很常见。希望本文能帮你更好地了解稀疏和稀疏矩阵。

![format_png 8][]

**推荐阅读专题**

[![format_png 9][]][format_png 9 1]

[![format_png 10][]][format_png 10 1]

[![format_png 11][]][format_png 11 1]

[![format_png 12][]][format_png 12 1]

![format_png 13][]

**留言点赞发个朋友圈**

**我们一起分享AI学习与发展的干货**

编译组：张天一、岳馨妍

相关链接：

https://towardsdatascience.com/lost-in-a-dense-forest-intuition-on-sparsity-in-machine-learning-with-simple-code-2b44ea7b07b0

如转载，请后台留言，遵守转载规范

**推荐文章阅读**

[ACL2018论文集50篇解读][ACL2018_50]

[EMNLP2017论文集28篇论文解读][EMNLP2017_28]

[2018年AI三大顶会中国学术成果全链接][2018_AI]

[ACL2017论文集：34篇解读干货全在这里][ACL2017_34]

[10篇AAAI2017经典论文回顾][10_AAAI2017]

**长按识别二维码可添加关注**

**读芯君爱你**

![format_png 14][]

[format_png]: /images/20221120/e7e3c5e0f56548a29252e8baeca7620a.png
[format_png 1]: /images/20221120/060a67b23f774ce29f3a08d00c2cf0b9.png
[format_png 2]: /images/20221120/13181aca2e9541fcb7cb17150032e10b.png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9yTHhHQTg0QlV4bFJ5WUtONmljeXF5RTJOOGhxcEJSVVFLU3d4ejRNYld5VnozWTlKcmpsRmdnbDBjMGlic3Rwd3BkTFRhVWZwUVRYc3RrN21yV2JBMVJnLzY0MA?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9yTHhHQTg0QlV4bFJ5WUtONmljeXF5RTJOOGhxcEJSVVFvaHVHNEhIaHEzb2lidEE5cDFNa0pPQ3VNN2dCT0RsY1NZczhFNUF4UFBBRElOQVpvRWZtaWNtQS82NDA?x-oss-process=image/format,png
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9yTHhHQTg0QlV4bFJ5WUtONmljeXF5RTJOOGhxcEJSVVFXSFJtVGJQU1RLbHdCUm5vekp0aWM2SnlPRjRDV0FyMlVsTVBZNGRHOTVoN2h4Rlo5UG8xejZ3LzY0MA?x-oss-process=image/format,png
[format_png 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9yTHhHQTg0QlV4bFJ5WUtONmljeXF5RTJOOGhxcEJSVVFEaldOcTVQMXpoZnpKNFJBVkdMQkQySzYxYUNUSkhHYmt1c295VHlFbWpOQmlhRVJWdENtcHpRLzY0MA?x-oss-process=image/format,png
[format_png 7]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9yTHhHQTg0QlV4bFJ5WUtONmljeXF5RTJOOGhxcEJSVVFMRFRsemduTGZUbk4xWk55UjBjbmo1OWtGenk4UjRpYWlidmlhUlRTa0MySWROaWI2QVN3RkVCUUp3LzY0MA?x-oss-process=image/format,png
[format_png 8]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9qTmIwbXlnYjh4Q2RpY21XYTlpY3kwczZ0Mkd5aWJVdDhZRWZnSGx2ekM4eTA5VlhQVVNIMWIwOGdnbW1oczVBNVlPMm5SY1ZpY2I4bU1GMjNnRG9XV1I4Z1EvNjQw?x-oss-process=image/format,png
[format_png 9]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9QTFNBaHVFbEZ4a0czZ0ExUVNleW1zeGduNVdpYmJSeHNOSGdVbmhOWkZDU3ZZdm4wM0s3TXRnV2xoYUJXU214Y29mamxNbmljZ1Bud2p0R0QwbGFiZGxnLzY0MA?x-oss-process=image/format,png
[format_png 9 1]: http://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea841ec4ddf397d2bb194670056d7ed973cf4349656e20d98bd139d8a5d99526a799fb243f8d&idx=1&mid=2247493138&scene=21&sn=d2fa895e71260f2576fa952cf2487522#wechat_redirect
[format_png 10]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9QTFNBaHVFbEZ4azV1aWJCSWpWWkR3MGhqY1ZQTVNtQU5Ld1RwOXJ0VzhSSVA5WjNPalpPV0x5cWxiTm1tSWRQdGNETWlhRzlHUzAxSUN6UmVMaWNYTElpYWcvNjQw?x-oss-process=image/format,png
[format_png 10 1]: http://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea841ed9ddf397cf9a7136dfb1352cf9fb1127b3061293cf716f8ee95b4560e694fce20a1e24&idx=2&mid=2247493135&scene=21&sn=5711dc1074411b7e45b40eb34fecc648#wechat_redirect
[format_png 11]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9QTFNBaHVFbEZ4bE9NdXV6UHFKcmlidkNQekNWWVV4VHRSMWljNVBpYnhKaWJXaWNlTm1DZDVNdm1pYzFWcHgzSWdyODFHUmlhbk9pYmFZcUN0N1FkaHl0eWhpYkNSZy82NDA?x-oss-process=image/format,png
[format_png 11 1]: http://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea841ec4ddf397d28ed77a111732be52384c9be414e0aad59c570ada6b29278755d066ae2090&idx=2&mid=2247493138&scene=21&sn=e45fe93b00342ba9eac222f24369d036#wechat_redirect
[format_png 12]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9QTFNBaHVFbEZ4blZ2QTBrSmdXbTVqR1JBbXhSYUw5amx4SmFDQnhvMTdjeDU3OXdWVWNPRUxlNEZrUGt4YXVQRGVCUHdSSWZMM2xLaWFhQ3VwNWZOaWNRLzY0MA?x-oss-process=image/format,png
[format_png 12 1]: http://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea841ed9ddf397cfbc27f47a160ee926a706f1b3151c53f707c8f221fde0ea51446aabe2148d&idx=1&mid=2247493135&scene=21&sn=cce4cc400933c960a3200fd0dfa4d0a7#wechat_redirect
[format_png 13]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9QTFNBaHVFbEZ4bXl1ZjA0ckNGWE8walI5MGNTdnNUaWFsZkNpY3duUGhoRExrajJKdmFNVHEzRHNaN25ZZ1gyNWxueGd2THh5WWhDMktMNmlheUJjUHpsdy82NDA?x-oss-process=image/format,png
[ACL2018_50]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea87ee2addf0673cae27c598a097f5addad5d81b2ed766e570f20fc0fb12b77c5cf34098022e&idx=1&lang=zh_CN&mid=2247489276&scene=21&sn=98e22e2b69478303f1f1a0a51e712570&token=192322725#wechat_redirect
[EMNLP2017_28]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea87eaadddf063bb3ab4ec5af616612a45f8d4fe9a5ad558f66278478296060253c1564bd05c&idx=1&lang=zh_CN&mid=2247488123&scene=21&sn=a55185f3a693f7a5d85b1abe3dd36177&token=140500370#wechat_redirect
[2018_AI]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea87f6ebddf07ffd8e84bcc18d7122f894b6cf5dc967daad9c2e122edb22968fd6f589d6852f&idx=1&mid=2247487037&scene=21&sn=37cd38b305aa874c29d764361c88a202#wechat_redirect
[ACL2017_34]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea87f59addf07c8c2480dd46784a431612d099d3d0531449aa8e64f68b3ba340363578d95659&idx=1&mid=2247486796&scene=21&sn=a8ae95efbf16985a259c4cd66bf919f2#wechat_redirect
[10_AAAI2017]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&idx=1&lang=zh_CN&mid=2247487100&scene=21&sn=3bd640ec4f00c5104664687194dd9a51&token=77118319#wechat_redirect
[format_png 14]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi9RR2o3V0YzbFIwUnhhOU42aEo4eFFwdnNaR2ljR09LSXBpYWtCOXlQQjl3RlFvMWliYVB3ZU9qcDFkYndpYWUzdXg4OERXRWg1dExFcHo2S0pqemNVSDVwOWcvNjQw?x-oss-process=image/format,png