GitHub 上高星的爬虫项目

妖狐艹你老母 2022-09-13 13:28 162阅读 0赞

![30d36634260913dbcd8b4ee1aad712d5.png][]

文 | 某某白米饭

来源：Python 技术「ID: pythonall」

![82a3afcdf8d404d86c69925ac581c7ec.png][]

GitHub 是一个开源宝库，上面有许多第三方的爬虫库，是可以拿来直接使用和学习的。不需要我们花费大量的时间去研究特定的网站如何去抓取数据。

### 1. gopup ###

GoPUP (https://github.com/justinzm/gopup) 项目所采集的数据皆来自公开的数据源，数据接口：百度、谷歌、头条、微博指数,宏观数据，利率数据，货币汇率，千里马、独角兽公司，新闻联播文字稿，影视票房数据，高校名单，疫情数据等等

![4efc910337dbf31753f46d37b9ba2f0a.png][]

#### 安装    ####

使用清华的 pip 源

pip install gopup -i https://pypi.tuna.tsinghua.edu.cn/simple

#### 使用 ####

查看文档 http://doc.gopup.cn/\#/

import gopup as gp
    df_index = gp.weibo_index(word="疫情", time_type="3month")
    print(df_index)

示例结果：

![287f6b9a7527cf667ff9ddb560d0e35b.png][]

### 2. weibo-spider    ###

weibo-spider (https://github.com/dataabc/weiboSpider) 是一个微博的爬虫，可以连续的爬取一个或多个微博用户的数据，并将数据写入文件和数据库。支持下载微博中的原始图片/视频、转载图片/视频，Live Photo 中的视频。

![3521961500b25a829b9928ca54b3d431.png][]

#### 安装    ####

安装有两种方式，一种是源码安装，一种是pip

$ git clone https://github.com/dataabc/weiboSpider.git
    $ cd weiboSpider
    $ pip install -r requirements.txt
    
    或者
    
    python3 -m pip install weibo-spider

#### 使用 ####

weibo-spider 爬虫已经在公众号文章 [《中秋不发女朋友，发追女神的方法》][Link 1]

1.  安装后第一次运行命令行 `python3 -m weibo_spider` ，会自动在当前目录创建config.json配置文件
2.  修改 config.json 文件中 user\_id\_list 微博用户 ID。
3.  再次运行 `python3 -m weibo_spider`

示例结果：

![621f2996c66ee524e44314e0a08708ed.png][]

### 3. You-Get    ###

you-get (https://github.com/soimort/you-get) 提供便利的方式来下载网络上的媒体信息,包括视频、音频、图片，支持 80+ 网站。小编经常用来下载 B 站视频。

#### 安装 ####

在 pip 之前需要安装 FFmpeg (强烈推荐) 或 Libav、(可选) RTMPDump。

pip3 install you-get
    
    升级用 
    pip3 install --upgrade you-get

#### 使用 ####

只需要简单的使用 you-get 命令就可以下载视频、图片、音频

you-get 网址
    
    如:
    
    you-get https://www.bilibili.com/video/BV1Dq4y1Z7zC?spm_id_from=333.851.b_7265636f6d6d656e64.1

示例结果：

![c442489029aa67d84157507736c15ea7.png][]

### 4. musicdl ###

Music-dl (https://github.com/0xHJK/music-dl) 是一个基于 Python3 的命令行工具，可以从多个网站搜索和下载音乐，解决音乐不知道在哪个网站的问题。Music-dl 的 API 是从公共网络获取的，下载不了 VIP 音乐。

Music-dl 支持 QQ音乐，酷狗音乐，网易云音乐，咪咕音乐和百度音乐。

![d1f7fd245d522aee947c8fd070773bd6.png][]

#### 安装 ####

pip install musicdl

#### 使用 ####

music-dl -k 周杰伦

示例结果：

![946214b7f99eff1f3c58d8611262b803.png][]

### 总结 ###

介绍了 GitHub 上高赞的爬虫项目，大家都可以看看源码，学习源码，让自己的 python 之道更加强大。

**PS：**公号内回复「Python」即可进入Python 新手学习交流群，一起 [100 天计划！][100]

**老规矩**，兄弟们还记得么，**右下角的 “在看” 点一下**，如果感觉文章内容不错的话，记得分享朋友圈让更多的人知道！

![62f018e8df9c7ac32fe42686c15e7740.gif][]

【**代码获取方式**】

识别文末二维码，回复：某某白米饭

![3b0c36231bf287037990ac6408401092.png][]

[30d36634260913dbcd8b4ee1aad712d5.png]: /images/20220828/5d1ad1c0431c407db4388222d432b085.png
[82a3afcdf8d404d86c69925ac581c7ec.png]: /images/20220828/9a35a7222d8c4a64bc822de9671f8c94.png
[4efc910337dbf31753f46d37b9ba2f0a.png]: /images/20220828/9fc4bbf652ff43869380b2d890db8783.png
[287f6b9a7527cf667ff9ddb560d0e35b.png]: /images/20220828/62513f1677304b9b9590044129963285.png
[3521961500b25a829b9928ca54b3d431.png]: /images/20220828/7ee3a0e3458049aa864fd5b020c121a6.png
[Link 1]: https://blog.csdn.net/weixin_43252237/article/details/102920299
[621f2996c66ee524e44314e0a08708ed.png]: /images/20220828/9bee8e6f66b44c5ba69973f48a6bd6fb.png
[c442489029aa67d84157507736c15ea7.png]: /images/20220828/ce2d28acc60146cca7b8f51a685257dd.png
[d1f7fd245d522aee947c8fd070773bd6.png]: /images/20220828/ef75d1579ab54b439f56b40e1ceb8944.png
[946214b7f99eff1f3c58d8611262b803.png]: /images/20220828/59cd04822de4456eb40283be613fe02c.png
[100]: https://blog.csdn.net/hihell/article/details/86106916
[62f018e8df9c7ac32fe42686c15e7740.gif]: /images/20220828/496e506335b6491dae8c48a907ae3a96.png
[3b0c36231bf287037990ac6408401092.png]: /images/20220828/50130d72a61f4c49a8e5f6a3d4e466e7.png