利用python调用wget批量下载ftp文件（有筛选）

我就是我 2022-09-09 00:26 379阅读 0赞

我的目的是对下面的这个[ftp://sidads.colorado.edu/DATASETS/NOAA/G02202\_V4/north/daily][ftp_sidads.colorado.edu_DATASETS_NOAA_G02202_V4_north_daily]

每年的文件夹进行遍历，下载1-2月的数据

因此需要筛选出1-2月的文件

利用了-A 这个参数，后面用-A "\*198901\*","\*198902\*" 这样就可以筛选出1989年的1-2月文件了，而且注意用逗号进行分割

\-r这个参数是递归下载

\-c这个参数是断点续传

我需要对每年进行遍历，所以采用python调用cmd进行批量下载

因为我的wget并没有加系统变量里面，因此需要增加地址

cmd最后可以等于H:\\\\mission\\\\downloadData20210305\\\\wget --ftp-user=anonymous -c -r -A "\*198901\*","\*198902\*" ftp://sidads.colorado.edu/DATASETS/NOAA/G02202\_V4/north/daily/1989

下载的文件存储地址为该python程序文件所在路径

import os
    
    sy=1998
    ey=2020
    for num in range(sy,ey+1):
        cmd="""H:\mission\wget --ftp-user=anonymous -c -r -A "*"""+str(num)+"""01*","*"""+str(num)+"""02*" ftp://sidads.colorado.edu/DATASETS/NOAA/G02202_V4/north/daily/"""+str(num)
        result=os.system(cmd)
        print(cmd)
        print(result)

注意到有时候调用也会卡，会很长时间不动，但是还没找到合适的方法，下次再看看吧

[ftp_sidads.colorado.edu_DATASETS_NOAA_G02202_V4_north_daily]: ftp://sidads.colorado.edu/DATASETS/NOAA/G02202_V4/north/daily

发表评论取消回复

表情：

评论列表（有 0 条评论，379人围观）

还没有评论，来说两句吧...

相关阅读

相关 Java FTP按关键字批量下载文件

一、所需jar <dependency> <groupId>commons-net</groupId>

╰半夏微凉°/ 2023年10月15日 21:14/ 0 赞/ 38 阅读

相关利用python调用wget批量下载ftp文件（有筛选）

我的目的是对下面的这个[ftp://sidads.colorado.edu/DATASETS/NOAA/G02202\_V4/north/daily][ftp_sidads.

我就是我/ 2022年09月09日 00:26/ 0 赞/ 380 阅读

相关 python wget下载文件

</pre><pre name="code" class="python">import os os.system('wget '+args) wg

妖狐艹你老母/ 2022年08月21日 03:10/ 0 赞/ 271 阅读

相关 wget下载FTP目录

wget -nH --cut-dirs=\ -m --ftp-user=\ --ftp-password=\ ftp://\.\.\.\/\ \-nH：不创建以主机名命名的目

野性酷女/ 2022年08月02日 10:49/ 0 赞/ 636 阅读

相关 wget 文件下载

http://linuxtools-rst.readthedocs.io/zh\_CN/latest/tool/wget.html 17. wget 文件下载 Linu

╰+攻爆jí腚メ/ 2022年07月16日 15:15/ 0 赞/ 260 阅读

相关 wget从ftp下载（有用户名和密码）

阅读数：16039 wget ftp://ip:port/software/os/ubuntu12.04/ubuntu-12.04.1-server-amd64.iso --

深碍√TFBOYSˉ_/ 2022年05月18日 02:19/ 0 赞/ 192 阅读

相关 wget下载文件

Wget The non-interactive network downloader. 非交互网络下载器。 wget [option]... [

墨蓝/ 2022年03月12日 05:42/ 0 赞/ 316 阅读

相关利用wget批量下载http目录下文件，下载yum源，http下rpm文件

wget -nd -r -l1 -A.rpm --no-parent http://mirrors.aliyun.com/centos/7.6.1810/os/x86\_64

女爷i/ 2022年01月10日 15:03/ 0 赞/ 542 阅读

相关 wget下载FTP的文件

在Linux中我们怎么样实现wget来下载文件下面例子下载所有的py结尾的文件到当前目录 wget [ftp://anymous:anymous@42.51.152.

清疚/ 2021年12月17日 11:11/ 0 赞/ 353 阅读

相关 wget 命令的使用：HTTP文件下载、FTP文件下载

本文链接: [https://blog.csdn.net/xietansheng/article/details/84669662][https_blog.csdn.net_x

蔚落/ 2021年09月22日 15:18/ 0 赞/ 1029 阅读