【requests】Python轻松爬取FTP

左手的ㄟ右手 2022-05-24 01:43 471阅读 0赞

## 前言 ##

requests这么强大，但是直接用requests.get()去操作**ftp**协议的url时候，就是没有办法处理。

这里介绍一个国外的小哥做的库，超级赞！  
叫做**requests\_ftp**。结合requests使用就可以爬取ftp协议的url了。

**下载方法：** `pip install requests-ftp`

--------------------

## 代码 ##

**解释：**  
下面代码中有些需要修改

*  url的地址可以写成ftp链接
 *  Username那里可以换成用户名
 *  Password那里换成密码

部分语句的理解

*  requests\_ftp.monkeypatch\_session() 这个语句就是做了一个补丁。就是做了一个特定效果的适应性改变代码。这里的补丁主要是扩展了requests.Session()的方法。比如下面就使用了其中扩展出来的**list**，就是列出ftp中的文件。这个还是比较常见的~
 *  s.list()函数中，url是网页具体地址。auth用一个元组去包括，表示访问url的用户以及密码。
 *  encoding这里就跟没有补丁前的一样的效果。

import requests
    import requests_ftp
    requests_ftp.monkeypatch_session()
    url = 'ftp://***.***.***.***'
    s = requests.Session()
    res = s.list(url, auth=('Username', 'Password'))
    res.encoding = 'utf-8'
    print(res.text)

## 输出 ##

下面是我用上面的代码访问我们学校的**计算机网络实验课**的内容。

drwxr-xr-x 1 ftp ftp              0 Mar 26  2018 实验1-FTP协议分析
    drwxr-xr-x 1 ftp ftp              0 Apr 02  2018 实验2-编程实验
    drwxr-xr-x 1 ftp ftp              0 Apr 12  2018 实验3-VLAN
    drwxr-xr-x 1 ftp ftp              0 Apr 23 10:12 实验4-生成树
    drwxr-xr-x 1 ftp ftp              0 Apr 28 13:23 实验5-链路聚合
    -r--r--r-- 1 ftp ftp        4481024 Mar 11  2018 实验基础(1).ppt
    -r--r--r-- 1 ftp ftp        1911808 Oct 11  2017 实验基础(2).ppt
    -r--r--r-- 1 ftp ftp          38400 Oct 21  2014 实验心得体会统一模板.doc
    drwxr-xr-x 1 ftp ftp              0 May 14 10:29 实验６-Ad-Hoc实验
    -r--r--r-- 1 ftp ftp         167246 Oct 19  2015 常用操作.JPG
    -r--r--r-- 1 ftp ftp         733184 Mar 11  2018 课程信息.ppt
    -r--r--r-- 1 ftp ftp           6144 Mar 17  2018 选课结果1.xls
    -r--r--r-- 1 ftp ftp          12800 Mar 17  2018 选课结果2.xls