python爬取网页的通用代码框架

刺骨的言语ヽ痛彻心扉 2022-02-14 06:45 282阅读 0赞

代码如下:

  1. import requests
  3. def getHTMLText(url):
  4.     try:
  5.         r = requests.get(url, timeout=30)
  6.         r.raise_for_status()    #如果状态不是200,引发HTTPError异常
  7.         r.encoding = r.apparent_encoding
  8.         return r.text
  9.     except:
  10.         return "产生异常"
  12. if __name__=="__main__":    #当python脚本直接运行时才会运行的代码,被别的脚本引入的话不会被执行
  13.     url = "http://www.baidu.com"
  14.     print(getHTMLText(url))

发表评论

表情：
评论列表 （有 0 条评论，282人围观）

还没有评论，来说两句吧...

相关阅读