Python爬取全国或特定城市百度地图慧眼、百度迁徙迁入迁出大数据

快来打我* 2022-12-28 06:22 203阅读 0赞

Python爬取全国或城市的百度地图慧眼（百度迁徙）迁入、迁出大数据

百度地图慧眼（百度迁移）迁入迁出大数据的官网显示如图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncGhpbA_size_16_color_FFFFFF_t_70][]

爬取百度迁移的大数据，Python代码实现如下：

import requests
    import time
    import pandas as pd
    import datetime
    
    # 百度迁移方向 0迁入，1迁出
    MOVE = ('move_in', 'move_out')
    
    """
    构造10个城市名和代码
    代码可以在民政部查找，连接地址 http://www.mca.gov.cn/article/sj/xzqh/2019/2019/201912251506.html
    上述连接是2019年11月中华人民共和国县以上行政区划代码
    """
    CITY = {'北京': '110000',
            '上海': '310000',
            '广州': '440100',
            '深圳': '440300',
            '成都': '510100',
            '天津': '120000',
            '南京': '320100',
            '杭州': '330100',
            '重庆': '500000',
            '武汉': '420100'}
    
    
    def get_data_from_url(url):
        print('请求http数据', url)
        resp = requests.get(url, timeout=5)
        j = resp.json()
        if j['errmsg'] == 'SUCCESS':
            data_list = j['data']['list']
            return data_list
        else:
            print('请求服务器数据失败!')
    
        return None
    
    
    def get_data(city_code, direction, date):
        if city_code is None:
            # 根据日期获取当前全国热门的迁入/迁出城市
            url_nation = f'http://huiyan.baidu.com/migration/cityrank.json?dt=country&id=0&type={direction}&date={date}'
            return get_data_from_url(url_nation)
        else:
            # 根据城市码和日期获取当前城市的迁入/迁出数据
            url_city = f'http://huiyan.baidu.com/migration/cityrank.json?dt=city&id={city_code}&type={direction}&date={date}'
            return get_data_from_url(url_city)
    
    
    def get_date(year, month, day):
        d = datetime.date(year, month, day)
        return d.__format__('%Y%m%d')
    
    
    def main():
        # 拼接特定日期，年月日
        date = get_date(2020, 11, 11)
    
        # 获取给定日期、给定城市码的城市迁入/迁出数据
        data = get_data(city_code=CITY['成都'], direction=MOVE[0], date=date)
        df = pd.DataFrame(data=data, columns=['city_name', 'province_name', 'value'])
        df.to_excel('1.xls', encoding='utf-8')  # 数据写入excel文件
        print(df)
    
        time.sleep(3)
    
        # 获取给定日期全国热门城市迁入/迁出数据
        data = get_data(city_code=None, direction=MOVE[0], date=date)
        df = pd.DataFrame(data=data, columns=['city_name', 'province_name', 'value'])
        df.to_excel('2.xls', encoding='utf-8')  # 数据写入excel文件
    
    
    if __name__ == '__main__':
        main()

输出结果，数据存入excel表格，2020年11月11日全国热门迁入城市排名数据：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncGhpbA_size_16_color_FFFFFF_t_70 1][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncGhpbA_size_16_color_FFFFFF_t_70]: /images/20221120/2a130907a8534a9b98f25990cd36db38.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncGhpbA_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20201215022038105.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncGhpbA==,size_16,color_FFFFFF,t_70