Python爬取淘宝商品数据，价值千元的爬虫外包项目

矫情吗；* 2022-12-15 00:57 326阅读 0赞

## 前言 ##

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

完整代码可以点击下方链接获取~

[python免费学习资料以及群交流解答点击即可加入][python]

## selenium ##

Selenium 是一个 Web 的自动化测试工具，最初是为网站自动化测试而开发的，就像玩游戏用的按键精灵，可以按指定的命令自动操作。

Selenium 测试工具直接操控浏览器中，就像真正的用户在操作一样。Selenium 可以根据的指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏，或者判断网站上某些动作是否发生等。

模块安装

pip install selenium

**谷歌驱动下载地址：**

https://npm.taobao.org/mirrors/chromedriver/

http://chromedriver.storage.googleapis.com/index.html

**配置浏览器驱动：**

将下载好的浏览器驱动解压，将解压出的 `exe` 文件放到Python的安装目录下，也就是和`python.exe`同目录即可。

或者

把驱动和代码放在同一个路径里面~

## 确定目标网页 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center]

Selenium 就是模拟人的行为去操作~ 按照流程~

**爬取内容：**

*  商品价格
 *  商品名字
 *  销量
 *  店铺名字
 *  发货地

**1、获取搜索框元素，输入想要搜索的内容 这里咱们呢搜索女士包包的关键词**

driver.find_element_by_css_selector('#q').send_keys('女式包包')

**2、获取搜索按钮元素，点击搜索**

driver.find_element_by_css_selector('.search-button').click()

**3、会弹出登陆页面**

*  **方案一**：  
    \- 获取账号和密码元素，用代码输入~ 合理设置好延时，并不会出现验证码~
 *  **方案二**：  
    \- 获取支付宝登陆元素，点击手动扫码登陆  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center 1]  
    这边选择方案二，方案一是可行的，但是会账号密码，所以这个你们可以自己去尝试

driver.find_element_by_css_selector('#login-form > div.login-blocks.sns-login-links > a.alipay-login').click()

**4、获取商品列表页数据**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center 2]  
和普通爬虫解析网站数据一样的~获取列表页标签，然后再二次提取。

这里创建一个字典，接收数据，方便等会保存到csv文件。

lis = driver.find_elements_by_css_selector('#mainsrp-itemlist .item')
    dit = { }
    for li in lis:
        time.sleep(1)
        price = li.find_element_by_css_selector('.ctx-box .price strong').text + '元'  # 商品价格
        dit['商品价格'] = price
        deal = li.find_element_by_css_selector('.ctx-box .deal-cnt').text      # 成交量
        dit['成交量'] = deal
        row = li.find_element_by_css_selector('.ctx-box .row-2 a').text      # 商品名字
        dit['商品名字'] = row
        shop = li.find_element_by_css_selector('.shop > a > span:nth-child(2)').text      # 店铺名字
        dit['店铺名字'] = shop
        city = li.find_element_by_css_selector('.row-3 > div.location').text      # 发货地址
        dit['发货地址'] = city

**5、保存数据**

最后一步就是保存数据了，基本操作了

f = open('淘宝数据.csv', mode='a', encoding='utf-8-sig', newline='')
    csv_writer = csv.DictWriter(f, fieldnames=['商品价格', '成交量', '商品名字', '店铺名字', '发货地址'])
    csv_writer.writeheader()
    csv_writer.writerow(dit)

**6、翻页点击下一页**

def next_page():
        driver.find_element_by_css_selector('#mainsrp-pager > div > div > div > ul > li.item.next > a').click()
        driver.implicitly_wait(10)

**7、运行效果图**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center 3]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center 4]

[python]: https://jq.qq.com/?_wv=1027&k=kQrKxXXR
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/7500bba5baab4f84a45e138c8a955606.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/459868d69c0d4ea59ec515322ec505d6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/f093171d33424272a1d384cdb66b9483.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/40d3334b93554588bcae7767c12df2c9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221123/d4a51cb2565941968b5493056ba76353.png