python 使用模拟器爬取京东一款游戏机所有的评论

小灰灰 2022-04-18 06:23 133阅读 0赞

> from selenium import webdriver  
> import time  
> from selenium.webdriver.chrome.options import Options  
> from bs4 import BeautifulSoup  
> import re  
> import pymysql
> 
> \#为使用谷歌无界面浏览器设置参数  
> chrome\_options = Options()  
> chrome\_options.add\_argument('--headless')  
> chrome\_options.add\_argument('--disable-gpu')
> 
> \#定义连接mysql的函数  
> def connect\_mysql():  
>     con = pymysql.connect(host='127.0.0.1',port=3306,db='jd',user='root',password='123456',charset='utf8')  
>     return con  
> \#定义关闭mysql的函数  
> def close\_mysql(db):  
>     db.close()  
> \#向mysql中保存数据  
> def save(db,d):  
>     cursor = db.cursor()  
>     sql = "insert into pinglunkc(time,content,reply,nice) values('%s','%s','%s','%s')" %(d\['time'\],d\['content'\],d\['reply'\],d\['nice'\])  
>     cursor.execute(sql)  
>     db.commit()  
>     cursor.close()
> 
> def create\_soup(page,db):  
>     \#创建bs对象  
>     soup = BeautifulSoup(page,'lxml')  
>     \#找到评论区域  
>     lt = soup.select('.comments-item > .com-item-main')  
>     print(len(lt))  
>     d = \{\}  
>     \#遍历评论区，得到当前页的每一个评论  
>     for message in lt:  
>         \#将信息存入字典中  
>         d = \{  
>             'time':message.select('.time')\[0\].text,  
>             'content':message.select('.desc')\[0\].text,  
>             'reply':message.select('.reply')\[0\].text\[3:-1\],  
>             'nice':message.select('.nice')\[0\].text\[2:-1\]  
>         \}  
>         \#调用save方法将字典中数据存入mysql中  
>         save(db,d)
> 
> def main():  
>     \#chromedriver.exe的地址  
>     path = r'\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*'  
>     \#创建操纵浏览器的对象  
>     driver = webdriver.Chrome(executable\_path=path,chrome\_options=chrome\_options)  
>     \#使用模拟浏览器打开起始页  
>     driver.get('https://item.jd.hk/1982079424.html')  
>     time.sleep(5)  
>     \#找到评论的按钮  
>     li = driver.find\_elements\_by\_class\_name('detail-elevator-handler')\[2\]  
>     \#将页面往下拉，防止懒加载的影响  
>     js = 'document.documentElement.scrollTop=20000'  
>     driver.execute\_script(js)  
>     time.sleep(2)  
>     \#连接数据库  
>     db = connect\_mysql()  
>     \#点击评论的按钮，打开评论区  
>     li.click()  
>     create\_soup(driver.page\_source,db)  
>     time.sleep(2)
> 
>     \#循环点击下一页，并得到本页的数据  
>     while True:  
>         try:  
>             \#找到下一页的按钮  
>             am = driver.find\_elements\_by\_link\_text('下一页')\[0\]  
>         except Exception as e:  
>             \#如果找不到下一页的按钮说明已经到头  
>             \#关闭数据库  
>             close\_mysql(db)  
>             exit('结束下载')  
>         \#执行js中的代码，使页面向下，取消懒加载的影响  
>         driver.execute\_script(js)
> 
>         time.sleep(2)  
>         \#点击下一页的按钮  
>         am.click()  
>         time.sleep(2)
> 
>         create\_soup(driver.page\_source,db)  
>         time.sleep(2)  
>     \#最后结束关闭浏览器  
>     driver.quit()
> 
> if \_\_name\_\_ == '\_\_main\_\_':  
>     main()