Python爬虫项目讲解：采集地方官方网站采购商品数据

阳光穿透心脏的1/2处 2022-08-29 05:55 132阅读 0赞

### **Python爬虫、数据分析、网站开发等案例教程视频免费在线观看** ###

https://space.bilibili.com/523606542

# [Python学习交流群：1039649593][Python_1039649593] #

# 前言 #

今天, 带大家采集地方官方网站的商品数据，其实这些公开的商品数据就是展示给用户看的，只不过我们通过爬虫采集下来可以更加方便我们看数据, 以及方便后续对数据做分析。

一起来看看吧!

# 本篇文章代码内容： #

1.  分析网页性质, 找数据请求的地址
2.  json数据的数据解析
3.  如何保存成csv

# 环境介绍： #

*  python 3.6
 *  pycharm
 *  requests
 *  csv

# 爬虫案例实现的步骤: #

1.  找数据对应的url地址
2.  发送指定地址的请求
3.  数据的提取
4.  数据保存

受害者地址：[http://hljcg.hlj.gov.cn/][http_hljcg.hlj.gov.cn]

# 1. 找数据对应的url <统一资源定位符(链接地址)> 地址 #

![6c0b9aea8d5ceb170c37772d2a73fd8b.png][]

![afbee797ae84222a264b47c45d547023.png][]

原始表单数据

![c3d6b7f1c250f47cb161e57042f845ea.png][]

url = 'http://hljcg.hlj.gov.cn/proxy/trade-service/mall/search/searchByParamFromEs'
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36'}
    
    json_data = {"queryPage":{"platformId":20,"pageSize":28,"pageNum":1},"orderType":"desc","homeType":"10","isAggregation":"true","publishType":"1","orderColumn":"saleCount","cid":1000033,"businessType":"1","cids":[]}

# 2. 发送指定地址的请求 #

import requests  # 数据请求模块, 第三方模块
    import pprint  # 格式化输出
    
    response = requests.post(url=url, json=json_data, headers=headers)
    json_data = response.json()  # 变量
    pprint.pprint(json_data)

![4d598c4bcf9ee6baae9135415f7ef2fa.png][]

# 3. 数据的提取，json提取 #

取下每一条商品数据

result_list = json_data['data']['itemList']['resultList']
    # print(result_list)
    
    for result in result_list:
        print(result)

![45f5e56c4cde29b9b13f02ebd8791088.png][]

键值对取值

skuName = result['skuName']  # 商品名字
    maxPrice = result['maxPrice']  # 商品价格
    pictureUrl = result['pictureUrl'].replace('\n', ' | ')  # 商品图片链接
    print(skuName, maxPrice, pictureUrl)

![cafc25dd49f7f8b099833140f0e45c56.png][]

# 4. 数据保存 #

import csv   # 数据保存模块, 内置模块
    
    with open('商品数据.csv', mode='a', encoding='utf-8', newline='') as f:
        csv_write = csv.writer(f)
        csv_write.writerow([skuName, maxPrice, pictureUrl])

最后运行代码得到结果

![ae5daf098479801b9ef1eb9d0306354b.png][]

[Python_1039649593]: https://jq.qq.com/?_wv=1027&k=SBLaYU2c
[http_hljcg.hlj.gov.cn]: http://hljcg.hlj.gov.cn/
[6c0b9aea8d5ceb170c37772d2a73fd8b.png]: /images/20220829/2346d04db7b341b289bd96bd09d07ed6.png
[afbee797ae84222a264b47c45d547023.png]: /images/20220829/dbb938d20610469aa1c201fc871048c4.png
[c3d6b7f1c250f47cb161e57042f845ea.png]: /images/20220829/fadf1858b7d244deb24e789103c535cd.png
[4d598c4bcf9ee6baae9135415f7ef2fa.png]: /images/20220829/9b7466dba7ad4c2b9de9a41382ea2b32.png
[45f5e56c4cde29b9b13f02ebd8791088.png]: /images/20220829/f00601a8be9c475a9f37ddd9fde25e16.png
[cafc25dd49f7f8b099833140f0e45c56.png]: /images/20220829/ddccf608fb334f0bb7d708ae3e18ab4a.png
[ae5daf098479801b9ef1eb9d0306354b.png]: /images/20220829/d6ceae3e6f09453c906ff6b5e547f6a3.png