多任务异步协程，asyncio及aiohttp

短命女 2021-11-14 14:54 374阅读 0赞

要实现异步协程，需要满足几个条件：

1，创建协程对象，且协程内部操作需要支持异步。

2，创建任务对象，如需为协程执行结果进行进一步处理，则需要为任务对象绑定回调函数。

3，创建事件循环，并将任务启动。

1 import asyncio
      2 import requests
      3 from lxml import etree
      4 import aiohttp
      5 import os
      6 
      7 headers = {
      8 
      9     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'
     10 }
     11 
     12 
     13 # 普通单线程，同步执行任务
     14 # url_ = 'https://www.qiushibaike.com/pic/page/{}/'
     15 # for i in range(1, 100):
     16 #     url = url_.format(i)
     17 #
     18 #     ret = requests.get(url=url, headers=headers).text
     19 #     tree = etree.HTML(ret)
     20 #     url_list = tree.xpath('//div[@id="content-left"]/div/div/a/img/@src')
     21 #     for url in url_list:
     22 #         name = url.split('/')[-1]
     23 #         print(name)
     24 #         img_url = 'https:' + url
     25 #         img = requests.get(img_url, headers=headers).content
     26 #         with open(os.path.join('qiutu',name), 'wb') as f:
     27 #             f.write(img)
     28 
     29 # 使用async修饰过的函数，调用函数时，函数不执行，而是生成了一个协程对象
     30 async def get_img(url):
     31     """
     32     # aiohttp的细节处理:
     33     # asnyc：硬性的语法要求关键字，应用aiohttp的代码模块
     34     # await: 会出现阻塞的操作的代码中，需要用await修饰
     35 
     36     """
     37 
     38     # ret = requests.get(url=url, headers=headers).text
     39     name = url.split('/')[-1]
     40 
     41     # 固定写法，aiohttp.ClientSession()，实例化一个异步请求对象
     42     async with  aiohttp.ClientSession() as aio:
     43         # 用该对象向url发送异步请求
     44         async with await aio.get(url=url, headers=headers) as ret:
     45             # 将响应对象（图片）读取为二进制流，以便存储。（.text().json().read()）对应requests的(.text.json.content)
     46             res = await ret.read()
     47 
     48     return name, res
     49 
     50 
     51 # 定义一个回调函数（名字随意），回调函数接收该任务对象本身，(像self)
     52 def callback(task):
     53     # task.result()接收协程（特殊函数执行的返回结果，可进一步处理）
     54     name, res = task.result()
     55     # 将二进制流持久化成本地文件
     56     with open(os.path.join('qiutu', name), 'wb') as f:
     57         f.write(res)
     58     print(name, '下载完成')
     59 
     60 
     61 # 通过糗图百科通用页面url,生成十页数据，并将十页数据中的所有图片链接存到urls中
     62 urls = []
     63 url_ = 'https://www.qiushibaike.com/pic/page/{}/'
     64 for i in range(1, 10):
     65     page_url = url_.format(i)
     66     ret = requests.get(url=page_url, headers=headers).text
     67     # 通过xpath定位并获取糗图图片的src
     68     tree = etree.HTML(ret)
     69     url_list = tree.xpath('//div[@id="content-left"]/div/div/a/img/@src')
     70     # 将每个图片的url存到urls中
     71     for img_url in url_list:
     72         urls.append(img_url)
     73         print(img_url)
     74 
     75 tasks = []
     76 
     77 for url in urls:
     78     url = 'https:' + url
     79     # 执行协程对象函数（函数并不会真正去执行，而是生成一个协程对象）
     80     cor = get_img(url)
     81     # 将协程对象添加。生成一个任务对象
     82     # task = asyncio.create_task(cor)       # python3.7新加入
     83     task = asyncio.ensure_future(cor)
     84     # 为任务对象绑定添加一个回调函数，传入函数名
     85     task.add_done_callback(callback)
     86     # 将所有的任务对象添加到任务列表中
     87     tasks.append(task)
     88 
     89 # 获取当前事件循环对象（没有则创建），asyncio.new_event_loop()是创建事件循环
     90 loop = asyncio.get_event_loop()
     91 
     92 # run_until_complete：运行直到 future (可等待任务对象) 被完成。
     93 
     94 # 将任务列表加入事件循环，并发开始执行
     95 # 请注意此函数不会引发 asyncio.TimeoutError。当超时发生时，未完成的 Future 或 Task 将在指定秒数后被返回，指定timeout参数。
     96 loop.run_until_complete(asyncio.wait(tasks))
     97 
     98 # asyncio.gather:如果所有可等待对象都成功完成，结果将是一个由所有返回值聚合而成的列表。结果值的顺序与 aws 中可等待对象的顺序一致。
     99 # 如果发生超时，任务将取消并引发 asyncio.TimeoutError.
    100 # loop.run_until_complete(asyncio.gather(tasks))

**注意！：**

**　　一个线程内最多大概可以注册500个协程。。任务数过多，需要多线程加异步协程实现。**

转载于:https://www.cnblogs.com/NoteBook3013/p/11109992.html