[python小工具]定时自动更新FTP的内容到本地

男娘i 2022-05-17 09:44 45阅读 0赞

在使用FTP服务器的时候，有时候需要定时将服务器上面的内容同步到本地，此时有一个脚本能够自动化的更新就再好不过了。

本文提供一种自动化同步机制

对于FTP服务器，一般使用可视化软件 filezila，这样可以比较快捷的更新文件内容，但是数据量大的时候，即使是使用filezila也不行.

python之中， 它里面自带的一个库文件  ftplib ， 可以用它来连接FTP服务器。

使用filezila连接到服务器之后，基本可x看到下面这个样子，当我们点击一下‘最近修改’， 文件基本会按照时间顺序排序

这正是一个关键

因此，思路就是根据最近修改的时间来决定下载更新文件到本地

按照先广度，再深度这种思路，找到最近更新的文件，然后下载下来

上代码：

#coding:utf-8
    import datetime
    import random
    import time
    import string
    import re
    import sched
    import os
    from functools import cmp_to_key
    from ftplib import FTP
    ftpserveraddress = " 127.0.0.1"    #目标FTP服务器网址
    ftp_acc = 'username' 					#服务器账号
    ftp_psw = 'password'				#服务器密码
    log_root = 'local_path'             #本地存贮路径
    
    
    cur_year=time.strftime("%Y",time.localtime())
    #cur_mon=time.strftime("%b",time.localtime())
    #cur_day=time.strftime("%d",time.localtime())
    #cur_hour=time.strftime("%H",time.localtime())
    #cur_min=time.strftime("%M",time.localtime())
    
    st = sched.scheduler(time.time,time.sleep)   #初始化调度器
    	
    
    def run_to_download(checktime):
    	'''
    	parameter:
    		checktime  检查最近checktime定义的时间内更新的文件
    	
    	'''
    			
    	currenttime=time.time()
    	print ("current new time is ",time.strftime("%Y-%m-%d_%H-%M-%S",time.localtime()))
    	ftp = FTP(ftpserveraddress)
    	ftp.login(ftp_acc,ftp_psw)
    	print (ftp.getwelcome())
    	
    	update_file_lists=[]
    	second_update_folder_name_list=[]
    
    	#过滤符合目标时间内的文件
    	def first_filter(line):
    			'''
    			line 是FTP服务器上面各个文件的属性合集，类似于 在linux上输入 ls- l命令之后的内容
    			'''
    			ll=line.split()  
    			tmp={}
    
    			if ll[8].find("-0")>-1 and ".zip" not in ll[8]:
    				fileinfo=ll           
    				#fileinfo是一个list， 包含文件的这些属性['drw-rw-rw-', '1', 'user', 'group', '0', 'Aug', '8', '13:25', '.']
    				
    				filetime=str(cur_year)+"-"+fileinfo[5]+"-"+fileinfo[6]+' '+fileinfo[7]   #根据文件的第6，7，8项属性得到了文件更新的时间 "'2018-Aug-8 13:25'"
    				format_time=datetime.datetime.strptime(filetime,"%Y-%b-%d %H:%M")#组合转化文件最后修改的时间，最终将时间转为为标准计数时间
    				format_time=format_time.strftime("%Y%m%d%H%M")                    
    				format_time=time.strptime(format_time,"%Y%m%d%H%M")
    				format_time=time.mktime(format_time)
    				
    				
    				#根据当前时间减去文件更新时间，跟checktime比较，即得到最近指定时间内更新的文件
    				if (currenttime-format_time < int(checktime)) and  len(fileinfo[8]) > 2:       #十个小时内（36000的单位是秒）有文件更新的话，记录下来
    					tmp['update_file_name']=ll[8]             #ll[8存贮着文件目录名字
    					tmp['file_update_time']=format_time                           
    					tmp['file_update_time_format_time']=filetime                           
    					update_file_lists.append(tmp)
    	ftp.retrlines("LIST",first_filter)  #调用上面的过滤函数，选择出符合条件的文件或者文件夹
    	update_file_lists = sorted(update_file_lists,key=cmp_to_key(lambda x,y:x['file_update_time']-y['file_update_time']) ) #将最近更新的文件排序，优先下载更新时间比较久的文件
    	for i in update_file_lists:
    		print (" the folder %s modify at %s ,this file need update " % (i['update_file_name'],i['file_update_time_format_time']) )
    		second_update_folder_name_list.append(i['update_file_name'])
    	print ("current id list is ...............")
    	print (second_update_folder_name_list)
    	
    	#进入下一级目录，基本同样的规则
    	for i in range(0, len(second_update_folder_name_list)): 
    		r_log = '\\'+second_update_folder_name_list[i]
    		ftp.cwd(r_log)
    		print(r_log)
    		log_dir = []
    		def second_filter(line):
    			ll=line.split()
    			#print(ll)
    			fileinfo=ll           #获取当前目录下的文件夹属性值
    			#['drw-rw-rw-', '1', 'user', 'group', '0', 'Aug', '8', '13:25', '.']
    			filetime=str(cur_year)+"-"+fileinfo[5]+"-"+fileinfo[6]+' '+fileinfo[7]   #"'2018-Aug-8 13:25'"
    			
    			format_time=datetime.datetime.strptime(filetime,"%Y-%b-%d %H:%M")#组合转化文件最后修改的时间，最终将时间转为为标准计数时间
    			format_time=format_time.strftime("%Y%m%d%H%M")                    
    			format_time=time.strptime(format_time,"%Y%m%d%H%M")
    			format_time=time.mktime(format_time)
    			#print("check time is ", checktime )
    			if (currenttime-format_time < int(checktime)) and  len(fileinfo[8]) > 2:                #十个小时内（36000的单位是秒）有文件更新的话，记录下来
    				log_dir.append(ll[8])                        #ll[8存贮着文件目录名字]
    		ftp.retrlines("LIST",second_filter)
    		print(log_dir)
    		
    		for i in range(0, len(log_dir)):
    			record_log = "/" + r_log.strip('\\') + "/" + log_dir[i] +"/" 
    			#print ("log_dir is %s"%log_dir[i])  
    			print ("log_dir %s has update"%record_log)  
    			
    			loglist = ftp.nlst(record_log)
    			print ("loglist is %s"%loglist)
    			ftp.cwd(record_log)
    			#print("pwd is %s"%ftp.pwd()) 
    			
    			for log in loglist:
            
    				log_path = log_root + record_log
    				#print (log_path)
    				if not os.path.exists(log_path):            #判断本地目录是否存在，没有就重新创建
    					os.makedirs(log_path)
    				#xxx = log_root + "/" + log # dir is ../log
    				xxx = log_path + log  # dir is ../log-123456
    				if os.path.exists(xxx):                    #因为没有对log文件进行时间排序，因此会出现这个文件夹持续更新的情况，所以加上一层判断，如果文件已经存在，不用再次更新
    					#print("%s  is exists,  do not need update again" % xxx)
    					pass
    				else:
    				   fp = open(xxx,'wb')
    				   ftp.retrbinary('RETR '+log,fp.write)
    				   fp.close()
    				   print ("log %s didn't  exists , is updating now ..." % log)
    		
    	print ("........before clear , the id list , id _lists is..........")		
    	print (update_file_lists)
    	print (second_update_folder_name_list)
    	
    	update_file_lists.clear()
    	second_update_folder_name_list.clear()
    	
    	print("after clear , the id list , id _lists, and log_dir is : ")
    	print (update_file_lists)
    	print (second_update_folder_name_list)
    	print("---------------------------finished-----------------------------------------")
    	st.enter(60,1,run_to_download,(360,)) 	#360 is the checktime 
    			
    		
    
    if __name__ == '__main__':
    	st.enter(1,1,run_to_download,(360,))              #360 is the checktime 
    	st.run()

收获主要是，python3上面的排序方法， sort函数中的cmp函数不用了， 这里用了新的方法  
另外，ftp服务器中，获取文件更新时间的方法比较特别