在colab上使用自己的数据集

约定不等于承诺〃 2022-02-25 00:50 596阅读 0赞

1、colab 可以非常方便地将ipynb保存到github上！有趣。

2、colab 从github上加载数据集，666，简直不能更方便啊。

使用  
`!git clone https://github.com/JameyWoo/myDataSet.git`  
即可将github上的文件克隆到colab的当前目录下，然后就可以愉快地使用自己的数据集了。

`!ls -R` 查看当前目录下的文件及所有的子目录文件，可以看到被正确克隆。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dqaDI2MjIwNzUxMjc_size_16_color_FFFFFF_t_70]  
接下来导入csv文件，看看是否能行，确实可以！

import pandas as pd
    pd.read_csv('./myDataSet/datasets/housing/housing.csv')

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dqaDI2MjIwNzUxMjc_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dqaDI2MjIwNzUxMjc_size_16_color_FFFFFF_t_70 2]

3、还可以将数据集上传到google drive上，然后分享并用一些代码来调用，感觉这样的好处是可以单独加载文件，而github需要将整个仓库都clone过来。这样速度可能会快一些。

具体用法参考[https://www.jiqizhixin.com/articles/2018-10-23-2][https_www.jiqizhixin.com_articles_2018-10-23-2]

4、有一个网站提供下载github的某个文件夹  
[https://minhaskamal.github.io/DownGit/\#/home][https_minhaskamal.github.io_DownGit_home]

在colab中，虽然下载某个文件夹很麻烦，但是可以下载单个文件，如一个csv文件。这样也比较方便。

在github中获取该文件的下载链接，然后使用wget下载即可。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dqaDI2MjIwNzUxMjc_size_16_color_FFFFFF_t_70 3]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dqaDI2MjIwNzUxMjc_size_16_color_FFFFFF_t_70]: /images/20220225/1fd4fbfb03cf4806b8ae36f54250a818.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dqaDI2MjIwNzUxMjc_size_16_color_FFFFFF_t_70 1]: /images/20220225/218c84fb5dd64a59a008418efb7a6a69.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dqaDI2MjIwNzUxMjc_size_16_color_FFFFFF_t_70 2]: /images/20220225/0397ca60bc284cc8ba2019510e35ce5d.png
[https_www.jiqizhixin.com_articles_2018-10-23-2]: https://www.jiqizhixin.com/articles/2018-10-23-2
[https_minhaskamal.github.io_DownGit_home]: https://minhaskamal.github.io/DownGit/#/home
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dqaDI2MjIwNzUxMjc_size_16_color_FFFFFF_t_70 3]: /images/20220225/2086ce52b7fc4f26b9f5fe682328fa86.png