双十一福利！爬取电商平台商品详情！买东西我们只买优质产品！

╰半夏微凉° 2022-09-16 15:28 54阅读 0赞

嗨 ，兄弟们晚上好啊！  
下午爬完京东，我们晚上再试试淘宝，剁手之路永不停歇！

其实我不太想爬的，没办法被媳妇知道了，说要在淘宝买东西，自己懒得看，让我用代码去分析分析。  
害，有这时间打两把无限火力他不香吗！

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Zeo5a2m57yW56iL_size_13_color_FFFFFF_t_70_g_se_x_16]  
反正都爬完了，整理出来发给大家参考一下吧。

环境介绍：

*  python 3.6
 *  pycharm
 *  selenium
 *  csv
 *  time
 *  random

python解释器安装包、安装教程  
pycharm代码编辑器安装包、安装教程、激活码  
Chrome浏览器Webdriver插件安装教程  
xpath-helper插件安装教程

**这些如果没有的话，可以在文末获取。**

**第三方模块**

selenium python模块 操作浏览器驱动 pip install selenium

这里简单的说下chromedriver （谷歌驱动）

浏览器驱动用来自动翻页的，下载跟你安装的谷歌浏览器版本最相近的版本，放到你的Python安装目录，或者跟你的代码放在同一个文件夹中就好了。

这个是我的浏览器版本  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Zeo5a2m57yW56iL_size_20_color_FFFFFF_t_70_g_se_x_16]这是跟我对应版本的驱动插件  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Zeo5a2m57yW56iL_size_20_color_FFFFFF_t_70_g_se_x_16 1]下载好解压出来长这样子，我这里把它跟代码放一起了。![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Zeo5a2m57yW56iL_size_20_color_FFFFFF_t_70_g_se_x_16 2]其他几个的话就不多说了

**导入模块**  
先导入一下要用的模块，注释够详细了吧。

from selenium import webdriver  # 导入selenium模块的浏览器功能
    import random  # 随机数据模块 设置随机等待
    import time  # 时间模块, 这是等待的时间<随机>  内置模块，  安装解释器的时候自带的
    from constants import TAO_USERNAME, TAO_PASSWORD  # 导入用户信息
    import csv  # 数据保存  # 内置模块

**解决登录**

我们要根据关键字搜索商品, 解决登录，避免淘宝检测selenium, 尽量的模拟用户操作去解决登录，淘宝登录它是有js 加密的， js会检测selenium自动登录, 最好是学学JS解密。

def search_product(keyword):
        
        driver.find_element_by_xpath('//*[@id="q"]').send_keys(keyword)
    
        time.sleep(random.randint(1, 3))
        driver.find_element_by_xpath('//*[@id="J_TSearchForm"]/div[1]/button').click()
        time.sleep(random.randint(1, 3))
        
        driver.find_element_by_xpath('//*[@id="fm-login-id"]').send_keys(TAO_USERNAME)
        time.sleep(random.randint(1, 3))
        driver.find_element_by_xpath('//*[@id="fm-login-password"]').send_keys(TAO_PASSWORD)
        time.sleep(random.randint(1, 3))
    
        driver.find_element_by_xpath('//*[@id="login-form"]/div[4]/button').click()
        time.sleep(random.randint(1, 3))

**解析数据**  
这里我们要对多个商品数据解析，所有的div标签，然后进行二次提取商品价格、付款人数、店铺名称、店铺地址、详情页地址

def parse_data():
       
        # 多个商品数据解析
        divs = driver.find_elements_by_xpath('//div[@class="grid g-clearfix"]/div/div')  # 所有的div标签
    
        for div in divs:  # 二次提取
            try:
                info = div.find_element_by_xpath('.//div[@class="row row-2 title"]/a').text
                price = div.find_element_by_xpath('.//strong').text + '元'  # 商品价格  # 手写
                deal = div.find_element_by_xpath('.//div[@class="deal-cnt"]').text  # 付款人数  # 手写
                name = div.find_element_by_xpath('.//div[@class="shop"]/a/span[2]').text  # 店铺名称  # 手写
                location = div.find_element_by_xpath('.//div[@class="location"]').text  # 店铺地址  # 手写
                detail_url = div.find_element_by_xpath('.//div[@class="pic"]/a').get_attribute('href')  # 详情页地址  # 手写
    
                print(info, price, deal, name, location, detail_url, sep='|')
    
                with open('淘宝.csv', mode='a', encoding='utf-8', newline='')  as f:
                    csv_write = csv.writer(f)
                    csv_write.writerow([info, price, deal, name, location, detail_url])
            except:
                continue

实现根据关键字搜索商品

word = input('请输入你要搜索商品的关键字:')

**浏览器操作**

创建一个浏览器

driver = webdriver.Chrome()

修改浏览器的属性

driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument",
                           { "source": """Object.defineProperty(navigator, 'webdriver', {get: () => undefined})"""})

执行浏览器操作

driver.get('https://www.taobao.com/')

get 是driver一个方法, 内部传一个地址，driver.get() 不是函数, 是driver对象的一个方法, 方法的调用和自定义函数调用是有区别的。

智能化等待: 页面渲染加载过程需要时间

driver.implicitly_wait(10)

最大化浏览器

driver.maximize_window()

搜索商品和解析商品

search_product(word)
    
    
    for page in range(0, 100):  # 0123456...
        print(f'\n========================正在抓取第{page + 1}页数据=========================')
        driver.get(f'https://s.taobao.com/search?q={word}&s={page * 44}')
        
        parse_data()
        time.sleep(random.randint(2, 4))

我们在执行浏览器的自动化操作的时候，用户平常怎么操作页面, 那么咱们代码逻辑和用户操作的页面的逻辑大致一样。  
验证码主要是验证人机行为，一般是滑动, 点选, 普通验证码。

**完整的免费源码领取处：**

[完整源码+对应视频教程基地见：\#点击蓝色文字添加即可获取免费的福利！][Link 1]

兄弟萌，我最大的动力就是来自你们的支持！！看完记得点赞收藏三连哈！

**关于解答——**

兄弟们在Python学习中遇到问题、有时间会给大家解答的！大家自行添加哈~

![在这里插入图片描述][7353ded87aae4935a09ba0fc257bffc4.png]  
.

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Zeo5a2m57yW56iL_size_13_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/7c5121bb876447daa30045b945bd4db8.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Zeo5a2m57yW56iL_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/32341a92bb4841b8aadd90b05d532939.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Zeo5a2m57yW56iL_size_20_color_FFFFFF_t_70_g_se_x_16 1]: https://img-blog.csdnimg.cn/ffe22061416a409584a73a78748dd3ac.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5Zeo5a2m57yW56iL,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Zeo5a2m57yW56iL_size_20_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/e4dc964f7f8b45c2a5e814606cc4cb37.png
[Link 1]: https://jq.qq.com/?_wv=1027&k=ABoZS3lA
[7353ded87aae4935a09ba0fc257bffc4.png]: /images/20220828/a01e39765b734aacb36f999a4b665b56.png