python多线程队列爬虫流程图_Python+多线程+队列爬虫

系统管理员 2022-10-27 13:58 181阅读 0赞

Python+多线程+队列，爬虫例子

\# -\*- coding: utf-8-\*-

import urllib2

import urllib

import json

import time

import datetime

import threading

import Queue

import sys

reload(sys)

sys.setdefaultencoding( "utf-8" )

def get\_response(url):

for a in range(3):

try:

request = urllib2.Request(url)

response = urllib2.urlopen(request)

result= response.read()

return result

except Exception,e:

print e

time.sleep(2)

continue

class ThreadCity(threading.Thread):

def \_\_init\_\_(self,queue\_zq\_citys):

threading.Thread.\_\_init\_\_(self)

self.queue\_zq\_citys=queue\_zq\_citys

def run(self):

sql = 'select cityid,cname from table '

citylist=DBHelper.SqlHelper.ms.ExecQuery(sql)

for c in citylist:

try:

\#根据搜索城市名称获取城市

qm\_cname=c\[1\]

data=urllib.urlencode(\{'q':qm\_cname\})

url='xxx.xxx.com/ajax.do?' % data

result=get\_response(url)

cjson=json.loads(result.decode('gb2312', 'ignore')) \#json格式字符串转换为python对象

cityId=cjson\["id"\]

cityname=cjson\["cName"\]

\#加入队列

self.queue\_zq\_citys.put(\{'cityid':cityId,'cityname':cityname\})

time.sleep(1)

except Exception,e:

pass

class ThreadCityDB(threading.Thread):

def \_\_init\_\_(self, queue\_zq\_citys):

threading.Thread.\_\_init\_\_(self)

self.queue\_zq\_citys = queue\_zq\_citys

def run(self):

while True:

try:

if self.queue\_zq\_citys.empty(): \#队列为空

pass

else:

citys=self.queue\_zq\_citys.get() \#从队列中取出数据

if citys is not None:

sql = "insert into Table(cityid,cityname) values(%s,'%s')" % (

citys\['cityid'\], citys\['cityname'\])

\#print sql

DBHelper.SqlHelper.ms.ExecNonQuery(sql.encode('utf-8'))

self.queue\_zq\_citys.task\_done() \#告诉线程我完成了这个任务 是否继续join阻塞 让线程向前执行或者退出

else:

pass

except Exception,e:

pass

def main():

try:

queue\_zq\_citys=Queue.Queue() \# 实例化存放抓取到的城市队列

\#创建线程

city=ThreadCity(queue\_zq\_citys) \#抓取线程 入队操作

cityDB=ThreadCityDB(queue\_zq\_citys) \#出队操作 存入数据库

\#启动线程

city.start()

cityDB.start()

\#阻塞等待子线程执行完毕后再执行主线程

city.join()

cityDB.join()

except Exception,e:

pass

if \_\_name\_\_ == '\_\_main\_\_':

main()

python多线程队列爬虫流程图_Python+多线程+队列爬虫

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关【多线程】阻塞队列

相关多线程--阻塞队列

相关普通爬虫 VS 多线程爬虫！Python爬虫运行时间对比

相关 Python基础—python爬虫多线程、多进程

相关 python多线程队列爬虫流程图_Python+多线程+队列爬虫

相关多线程阻塞队列

相关多线程爬虫

相关 Python学习（三）：多线程写Python爬虫

相关 Python3爬虫与多线程

相关多线程爬虫