机器学习之必知开源数据集

港控/mmm° 2022-05-28 11:23 216阅读 0赞

之前看到的不错的文章，玩机器学习数据是关键，有了这些东西，你就不必再为没有数据而苦恼。  
转自：[https://www.toutiao.com/i6432197108580745730/][https_www.toutiao.com_i6432197108580745730]

*  目录
    
     *  UCI
     *  GoogleTrends
     *  Kaggle
     *  AWS公用数据集
     *  Imagenet
     *  MINIST
     *  /r/数据集
     *  其他数据集

# 目录 #

机器学习的研究与实现，离不开大数据。知晓通用的开源数据集，一方面可以验证自己算法，而另一方面也可以与其他算法进行比较。

不少开源工具和框架都会含有默认的数据集，使学习者能很快上手。比如scikit-learn就直接支持iris、digits等数据集，通过datasets.load\_iris()、datasets.load\_digits()就可以直接载入数据进行分析。

除了工具默认支持的数据集外，还有很多知名的开源数据集，供机器学习相关人员使用。

## UCI ##

UCI肯定是最知名的开源数据集（库）之一，它是加州大学欧文分校所维护的一个数据集（库），里面包含373个数据集，并且还在持续增长。数据集的类别也很丰富多样并且归类清晰，有专门针对聚类的数据集，专门针对回归研究的数据集；从数据类型纬度，有文本类型的，有时序相关类型的。  
![这里写图片描述][70]

同时其数据的获取也很简单，直接点击需要的数据集，进入下载页面直接压在压缩包，解压即可使用。数据一般按照特定格式组织成文本形式。

在UCI项目中，最常用的数据集包括iris、wine、soybean、zoo：

*  iris，鸢尾数据集，其包含3个类，每个类50个元素，每个元素有5个属性，用来代表不同的鸢尾花
 *  wine，酒水数据库，其中包含3个类，共178个元素，每个元素有3个属性，常用于聚类研究
 *  soybean，大豆疾病数据集，其中包含4个类，共47个元素，但每个元素有35个属性
 *  zoo，动物园数据集，其中包含7个类，共101个元素，每个元素16个属性

项目地址：[http://archive.ics.uci.edu/ml/index.php][http_archive.ics.uci.edu_ml_index.php]

## GoogleTrends ##

GoogleTrends开源出来的数据集不一定是非常知名、用途广泛的数据集，但是由于其数据来源于互联网，具有很强的时间感，社会属性，并且也能很快检测算法的准确性，毕竟互联网数据的产生速度要远远大于传统数据。  
![这里写图片描述][70 1]

该数据集中数据组织形式也非常直接，csv文件，这样无论是人工查看，还是程序处理都非常方便，毕竟现在绝大多数框架都支持直接载入csv文件。

项目地址：[http://googletrends.github.io/data/][http_googletrends.github.io_data]

## Kaggle ##

Kaggle本身是为开发商和数据科学家提供举办机器学习竞赛、托管数据库、编写和分享代码的平台。而各种机器学习竞赛中用到的数据集则可以在改平台上下载，这对于验证、对比自身算法的优劣大有裨益。  
![这里写图片描述][70 2]

其中覆盖了分类、回归、排名、推荐系统以及图像分析等各个非常使用的领域，但是不好之处在于有些数据集是收费的。

项目地址：[https://www.kaggle.com/competitions][https_www.kaggle.com_competitions]

## AWS公用数据集 ##

这个数据集是AWS集成的，必须通过AWS API访问的数据集，其中包含了人类基因组项目、Common Crawl网页语料库、维基百科数据和Google BooksNgrams等形形色色的数据集。

使用该数据库最大问题是它默认支持的格式是通过AWS相关的操作，包括建实例等，对于离线分析，或者不想购买云资源的用户来说，不那么方便直接。

项目地址：[https://aws.amazon.com/cn/public-datasets/][https_aws.amazon.com_cn_public-datasets]

## Imagenet ##

Imagenet是图像领域最出名的数据集之一，各种图像处理相关的算法都会在该数据集上验证其先进性，也有各种研究人员针对该数据集做研究以及优化。  
![这里写图片描述][70 3]

在深度学习异常火爆的当下，Imagenet也起了非常大的推动作用。深度学习领域大牛Hilton的论文《ImageNet Classification with Deep Convolutional Neural Networks》，其使用的就是Imagenet数据集，后来者们也都纷纷使用该数据集进行算法的研究和优化。

该数据集有1400W图片，涵盖有丰富的类别，带标注数据也超过百万，这使得该数据集在图像处理，定位，检测等研究工作中占据很大的地盘，其机会成为了目前深度学习图像领域算法性能检验的标准数据库。

项目地址：[http://image-net.org/download][http_image-net.org_download]

## MINIST ##

深度学习领域的“Hello World!”，入门必备！MNIST是一个手写数字数据库，它有60000个训练样本集和10000个测试样本集，每个样本图像的宽高为28\*28。此数据集是以二进制存储的，不能直接以图像格式查看，不过很容易找到将其转换成图像格式的工具。最早的深度卷积网络LeNet便是针对此数据集的，当前主流深度学习框架几乎无一例外将MNIST数据集的处理作为介绍及入门第一教程，其中Tensorflow关于MNIST的教程非常详细。

![这里写图片描述][70 4]  
项目地址：[http://yann.lecun.com/exdb/mnist/][http_yann.lecun.com_exdb_mnist]

## /r/数据集 ##

Reddit的/r/数据集是一个大伙分享、请求的数据集平台，在此平台上能分享、下载甚至讨论大量的数据集，从普通数据集到用于深度分析的数据集，不一而足。

项目地址：[https://www.reddit.com/r/datasets/][https_www.reddit.com_r_datasets]

## 其他数据集 ##

麻省理工大学人脸识别，[http://vis-www.cs.umass.edu/fddb/][http_vis-www.cs.umass.edu_fddb]

歌曲数据库，[http://labrosa.ee.columbia.edu/millionsong/][http_labrosa.ee.columbia.edu_millionsong]

图像处理COCO，[http://mscoco.org/][http_mscoco.org]

视频数据集youtube，[https://research.google.com/youtube8m/][https_research.google.com_youtube8m]

此外，还有大量的针对某个领域的数据集，比如图像分隔、地质数据、政府数据等等，不一而足。

[https_www.toutiao.com_i6432197108580745730]: https://www.toutiao.com/i6432197108580745730/
[70]: /images/20220528/b7c416d2ba1d438a9ac0a41ceac8b888.png
[http_archive.ics.uci.edu_ml_index.php]: http://archive.ics.uci.edu/ml/index.php
[70 1]: /images/20220528/3a4700f7f445440494172c22f75481c9.png
[http_googletrends.github.io_data]: http://googletrends.github.io/data/
[70 2]: /images/20220528/510493e6a6e844579ac19b6125eef054.png
[https_www.kaggle.com_competitions]: https://www.kaggle.com/competitions
[https_aws.amazon.com_cn_public-datasets]: https://aws.amazon.com/cn/public-datasets/
[70 3]: /images/20220528/14d41257815f4c69a82667c1aad649f6.png
[http_image-net.org_download]: http://image-net.org/download
[70 4]: /images/20220528/c32084e4890f45b1a922811aaea82cee.png
[http_yann.lecun.com_exdb_mnist]: http://yann.lecun.com/exdb/mnist/
[https_www.reddit.com_r_datasets]: https://www.reddit.com/r/datasets/
[http_vis-www.cs.umass.edu_fddb]: http://vis-www.cs.umass.edu/fddb/
[http_labrosa.ee.columbia.edu_millionsong]: http://labrosa.ee.columbia.edu/millionsong/
[http_mscoco.org]: http://mscoco.org/
[https_research.google.com_youtube8m]: https://research.google.com/youtube8m/