Python爬虫：爬取网站视频

￡神魔★判官ぃ 2022-02-04 06:45 514阅读 0赞

python爬取百思不得姐网站视频：[http://www.budejie.com/video/][http_www.budejie.com_video]

新建一个py文件，代码如下：

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 </td> 
 <td> <code>#!/usr/bin/python</code> <code>#&nbsp;-*-&nbsp;coding:&nbsp;UTF-8&nbsp;-*-</code> &nbsp; <code>import</code>&nbsp;<code>urllib,re,requests</code> <code>import</code>&nbsp;<code>sys</code> <code>reload</code><code>(sys)</code> <code>sys.setdefaultencoding(</code><code>'utf-8'</code><code>)</code> &nbsp; <code>url_name&nbsp;</code><code>=</code>&nbsp;<code>[]&nbsp;</code><code>#url&nbsp;name</code> &nbsp; <code>def</code>&nbsp;<code>get():</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>#获取源码</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>hd&nbsp;</code><code>=</code>&nbsp;<code>{ </code><code>"User-Agent"</code><code>:</code><code>"Mozilla/5.0&nbsp;(Windows&nbsp;NT&nbsp;6.3;&nbsp;Win64;&nbsp;x64)&nbsp;AppleWebKit/537.36&nbsp;(KHTML,&nbsp;like&nbsp;Gecko)&nbsp;Chrome/58.0.3029.110&nbsp;Safari/537.36"</code><code>}</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>url&nbsp;</code><code>=</code>&nbsp;<code>'http://www.budejie.com/video/'</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>html&nbsp;</code><code>=</code>&nbsp;<code>requests.get(url,headers</code><code>=</code><code>hd).text</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>url_content&nbsp;</code><code>=</code>&nbsp;<code>re.</code><code>compile</code><code>(r</code><code>'(&lt;div&nbsp;class="j-r-list-c"&gt;.*?&lt;/div&gt;.*?&lt;/div&gt;)'</code><code>,re.S)&nbsp;</code><code>#编译</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>url_contents&nbsp;</code><code>=</code>&nbsp;<code>re.findall(url_content,html)&nbsp;</code><code>#匹配</code> &nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>for</code>&nbsp;<code>i&nbsp;</code><code>in</code>&nbsp;<code>url_contents:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>#匹配视频</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>url_reg&nbsp;</code><code>=</code>&nbsp;<code>r</code><code>'data-mp4="(.*?)"'</code>&nbsp;&nbsp;<code>#视频地址</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>url_items&nbsp;</code><code>=</code>&nbsp;<code>re.findall(url_reg,i)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>#print&nbsp;url_items</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if</code>&nbsp;<code>url_items:&nbsp;&nbsp;</code><code>#判断视频是否存在</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>name_reg&nbsp;</code><code>=</code>&nbsp;<code>re.</code><code>compile</code><code>(r</code><code>'&lt;a&nbsp;href="/detail-.{8}?.html"&gt;(.*?)&lt;/a&gt;'</code><code>,re.S)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>name_items&nbsp;</code><code>=</code>&nbsp;<code>re.findall(name_reg,i)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>#print&nbsp;name_items[0]</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>for</code>&nbsp;<code>i,k&nbsp;</code><code>in</code>&nbsp;<code>zip</code><code>(name_items,url_items):</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>url_name.append([i,k])</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>print</code>&nbsp;<code>i,k</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>for</code>&nbsp;<code>i&nbsp;</code><code>in</code>&nbsp;<code>url_name:&nbsp;&nbsp;</code><code>#i[1]=url&nbsp;i[0]=name</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>urllib.urlretrieve(i[</code><code>1</code><code>],</code><code>'video\\%s.mp4'</code>&nbsp;<code>%</code>&nbsp;<code>(i[</code><code>0</code><code>].decode(</code><code>'utf-8'</code><code>)))</code> &nbsp; <code>if</code>&nbsp;<code>__name__&nbsp;</code><code>=</code><code>=</code>&nbsp;<code>"__main__"</code><code>:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>get()</code> </td> 
 </tr> 
 </tbody> 
</table>

在 py 文件下新建一个 video 文件夹，执行后结果如下：

![wKiom1kkMz-i8-RdAAIVKL2KXsw022.png][]

在 video 文件夹可以看到下载好的视频

![wKioL1kkM1KQyw43AAQpNrfCuQc669.png][]

注意报错：

UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-9: ordinal not in range(128)

解决：

import sys  
reload(sys)

sys.setdefaultencoding('utf-8')

[http_www.budejie.com_video]: http://www.budejie.com/video/
[wKiom1kkMz-i8-RdAAIVKL2KXsw022.png]: /images/20220204/1abd9f062377429dae14a9a49f0342a7.png
[wKioL1kkM1KQyw43AAQpNrfCuQc669.png]: /images/20220204/7cdf66a7c8834ca9a7999c5e71a0465b.png