怎么在python下载网站内容-分析某网站，并利用python自动登陆该网站，下载网站内容...

小鱼儿 2022-11-21 14:03 212阅读 0赞

本帖最后由 愤怒的小车 于 2019-5-8 09:41 编辑

一：本代码是我研究了好久才写出来，七功能主要有自动登陆、自动识别验证码、以及自动识别下载格式进行判断下载！

首先，搬上我们的主角网址，http://lavteam.org/，进去一看，是一个俄罗斯人创建的网站，七内容让我们不亦乐乎。

二：登陆

要进行分析，首先要注册一个账号，账号各位自己注册。

抓包发现，他的登陆请求地址为http://www.lavteam.org/，其中表单：

![none.gif][]

QQ图片20190508090034.png (14.08 KB, 下载次数: 1)

2019-5-8 09:01 上传

我们构造表单，进行请求，其函数为：

def login():

print('正在登陆......')

req = session.get(first\_url)

data = \{

'login\_name': '账号',

'login\_password':'密码',

'login': 'submit',

'image.x': '43',

'image.y': '11',

req = session.post(first\_url,data = data)

三：查询

登陆进去就需要查找自己想要的内容，比如我们输入ventsim，然后进行抓包，抓包得到：

Request URL:http://lavteam.org/

Request Method:POST

其表单为：

![none.gif][]

QQ图片20190508090733.png (11.58 KB, 下载次数: 1)

2019-5-8 09:08 上传

接着我们再构造其请求，请求返回的内容列表我把他整理成字典的格式，方便在于我只要输入软件编号，就可以对该内容进行深入操作，我对多页内容都进行了遍历，所有的内容链接都整理了出来，代码如下：

def reach(ventsim):

data = \{

'do': 'search',

'subaction': 'search',

'story': ventsim,

'x': '42',

'y':'9' ,

req = session.post(first\_url,data = data).text

html = etree.HTML(req)

url = html.xpath('//div\[@class="text-left"\]/a/@href')

name = html.xpath('//div\[@class="text-left"\]/a/text()')

num = html.xpath('//div\[@class="navigation ignore-select"\]/a/text()')\[-2\]

f = \{\}

for i in range(len(name)):

f= urlprint(i,name)

for k in range(int(num)-1):

search\_start = 2 + k

result\_from = 11 + 10\*k

data = \{

'do': 'search',

'subaction': 'search',

'search\_start': str(search\_start),

'full\_search':'0' ,

'result\_from': str(result\_from),

'story': ventsim

req = session.post('http://www.lavteam.org/index.php?do=search', data=data).text

html = etree.HTML(req)

url = html.xpath('//div\[@class="text-left"\]/a/@href')

name = html.xpath('//div\[@class="text-left"\]/a/text()')

for j in range(len(name)):

f\[(k+1)\*10+j\] = url\[j\]

print((k+1)\*10+j,name\[j\])

return f

四：进入详情界面

我们从上一步查询的返回值中，找到软件详情页面的链接，然后进行请求，抓包得到的结果：

Request URL:http://lavteam.org/2018/04/02/howden-group-ventsim-visual-premium-v4869.html

Request Method:GETIDA Console, Courier New, monospace">然后再用python进行构造这个请求，代码如下：

def intopage(url):

page = session.get(url).text

html = etree.HTML(page)

url = html.xpath('//a\[@target="\_blank" and @Class = "medium blue awesome"or @class = "medium red awesome" or @class = "small blue awesome" or @class = "small red awesome" or @class = "large blue awesome" or @class = "large red awesome"\]/@href')

return url五、下载页面

分析可知，其点击进入下载页面的链接在下载页面可以抓包抓到，他是一个get请求，其抓包得到的headers如下：

Request URL:http://files.lavteam.org/leech?cat=warez%2FPrograms%2FVentSim&file=Howden.Ventsim.Visual.Premium.v4.8.6.9.rar

Request Method:GET其构造的代码如下：

def dawnload(url,path,Referer):

headers = \{

'Host': 'files.lavteam.org',

'Referer': Referer,

'Upgrade-Insecure-Requests': '1',

'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',

rep = session.get(url,headers = headers).text

pat = 'accesskey="p">'

session\_html = re.compile(pat).findall(rep)\[0\]\[2:-2\].split('=')

session\_url = 'http://files.lavteam.org/download/'+session\_html\[1\]\[:-4\]+'/'+session\_html\[3\]

name = session\_html\[3\]

\# print(session\_url)

yanzheng(url,path,session\_url,name)

六、验证

验证码的验证，我们需要请求获取验证码图片，然后我是介入百度的文字识别接口，自动识别验证码内容，然后作为请求验证的表单进行求求验证，如果验证码不正确，则再次进行验证，如果验证码正确，则等待5s，进行下载，代码如下：def yanzheng(url,path,session\_url,name):

img\_url = 'http://files.lavteam.org/img.php?size=3'

res = session.get(img\_url)

with open('img.jpg', 'wb') as f:

f.write(res.content)

img = shibie('img.jpg')

data = \{

'vImageCodP': img,

'checkimagecode': '(unable to decode value)',

header = \{

'Host': 'files.lavteam.org',

'Origin': 'http://files.lavteam.org',

'Referer': url,

'Upgrade-Insecure-Requests': '1',

'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',

res = session.post(url, data=data, headers=header).text

html = etree.HTML(res)

l = html.xpath('//div/@id')

if "downloadhtml" in l:

print('验证码正确！')

print('请等待10s！')

time.sleep(10)

if not os.path.exists(path):

os.makedirs(path)

data = \{

'download': '(unable to decode value)',

heade = \{

'Connection': 'keep-alive',

'Host': 'files.lavteam.org',

'Origin': 'http://files.lavteam.org',

'Referer': url,

'Upgrade-Insecure-Requests': '1',

'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.92 Safari/537.36',

print('开始下载'+ name +'，可能需要很长时间，请耐心等待...')

res = session.post(session\_url, data=data, headers=heade)

with open(path + name, 'wb') as f:

f.write(res.content)

print('下载完成！')

else:

print('验证码错误，请重新输入验证码！！！')

yanzheng(url,path,session\_url,name)七、百度识别接口

在用百度文字是别的时候，我还对图片当中的早点进行了去燥，位的是识别率更高，其整体代码如下：

def shibie(img):

\# 下面3个变量请自行更改

APP\_ID = '11620307'

API\_KEY = 'Nl2oc5uuoPPkGMtoLGCUGgVj'

SECRET\_KEY = 'bF48ggt4d891NFhDHPmfjzGR3DvY4XLO'

aipOcr = AipOcr(APP\_ID, API\_KEY, SECRET\_KEY)

filePaths = img

filePath = Image.open(filePaths)

filePath = filePath.convert('L')

threshold = 127

table = \[\]

for i in range(256):

if i < threshold:

table.append(0)

else:

table.append(2)

filePath = filePath.point(table, '1')

filePath.save("imgage.png")

def get\_file\_content(filePath):

with open(filePath, 'rb') as fp:

return fp.read()

\# 定义参数变量

options = \{

'detect\_direction': 'true',

'language\_type': 'CHN\_ENG',

\# 调用通用文字识别接口

filePathss = "imgage.png"

result = aipOcr.basicAccurate(get\_file\_content(filePathss), options)

img = result\['words\_result'\]\[0\]\['words'\]

imgs = img.replace(' ','')

print(imgs)

return imgs![rar.gif][]

lavteamshibie.rar

(2.26 KB, 下载次数: 78)

2019-5-8 09:33 上传

点击文件名下载附件

详细代码

下载积分: 吾爱币 -1 CB希望得到大家的热心于评分。

![4.gif][]

[none.gif]: /images/20221120/1f0a17955ecb4858b70f6f984f2eb7e1.png
[rar.gif]: /images/20221120/3ac677b7084041e4a693088f6657f7f8.png
[4.gif]: /images/20221120/bb27e684309e443bb1876926e696e9a2.png