Python 3爬取全国高校基本信息

布满荆棘的人生 2021-12-03 02:51 529阅读 0赞

最近接了一个单子，是爬取全国高校的基本信息，高校名字，高校层次，高校地区，招生办电话，招生办官网~

镇楼图如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbW9yeV9xaWFueGlhbw_size_16_color_FFFFFF_t_70][]

信息源网址是：[https://gkcx.eol.cn/][https_gkcx.eol.cn]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbW9yeV9xaWFueGlhbw_size_16_color_FFFFFF_t_70 1][]

开发环境：python3.6（最新3.7也可以的） +pycharm

第三放库：request(网页级请求库)，pymysql（l操作mysql库）,json（python和json互转的库）其余库自带

思路就参考前面同前面的文章（最近越来越懒了，请见谅博客都没怎么写了，思路也是...被高数折磨的哭唧唧的~），代码都差不多，只是请求地址变了，思路也差不多，思路参考请点击传送门：[传送门][Link 1]

接下来就公布源码：点击Github下载，传送门：[传送门][Link 2]

或者观看博客也行，如下：

# -*- coding: utf-8 -*-
    # @Filename: 全国高校数据信息.py
    # @Time    : 2019/7/19 12:31
    # @Author  : LYT
    """
    https://static-data.eol.cn/www/school/140/info.json
    """
    import requests,re,xlwt,json,pymysql
    def Get_html(url):
        try:
            headers = {
                'User-Agent': "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3676.400 QQBrowser/10.4.34"
            }
            r=requests.get(url,headers=headers)#带请求参数params
            r.encoding=r.apparent_encoding
            print("请求服务成功!")
            #print(r.text)
            return r.text
        except:
            print("请求失败")
    def Get_info(url,id):
        url_api = "https://static-data.eol.cn/www/school/"#请求ajax api
        url=url_api+str(id)+"/info.json"
        basic_info=[]#存高校基本信息
    
        # *******************************************#
        # ****************数据库配置******************#
        # *******************************************#
        # *******************************************##
        try:
            conn = pymysql.connect(
                host="localhost",  # mysql本机连接 或者写127.0.0.1也可以连接远程数据库
                user="test",  # 数据库用户名称
                passwd="123",  # 密码
                db="高校基本信息",  # 连接的数据库名字
                port=3306  # 端口
            )
        except pymysql.Error as e:
            print("连接失败：%s" % e)
        cursor = conn.cursor()
        name=""
        infoes=json.loads(Get_html(url))
        name=infoes['name']
        basic_info.append(infoes['name'])#学校名字
        level=""#高校层次
        if infoes['f985']=='1'and infoes['f211'] == '1': level += "985 211"#判断高校层次
        elif infoes['f211'] == '1': level +="211"
        else:level+=infoes['level_name']
        basic_info.append(level)
        basic_info.append(infoes['type_name'])#高笑类型
        loacl=infoes['province_name']+infoes['town_name']#高校地区
        basic_info.append(loacl)
        basic_info.append(infoes['phone'])#招生办电话
        basic_info.append(infoes['site'])#招生办官网
        print(basic_info)
    
        print("***********正在写入数据库%s高校基本信息数据**********" % name)
        sql= "insert into 全国高校基本信息(学校名称,高校层次,高校类型,高校地区,招生办电话,招生办官网)values(%s,%s,%s,%s,%s,%s)"
        cursor.execute(sql,(basic_info))
        conn.commit()  # 数据库数据提交
        conn.close()  # 关闭数据库连接
        print(name+"数据已经保存完毕!")
    def main():
        # *******************************************#
        # ****************数据库配置******************#
        # *******************************************#
        # *******************************************##
        try:
            conn = pymysql.connect(
                host="localhost",  # mysql本机连接 或者写127.0.0.1也可以连接远程数据库
                user="test",  # 数据库用户名称
                passwd="123",  # 密码
                db="高校基本信息",  # 连接的数据库名字
                port=3306  # 端口
            )
        except pymysql.Error as e:
            print("连接失败：%s" % e)
        cursor = conn.cursor()
        sql = """create table %s(
                          id int(20) not null primary key auto_increment,
                          学校名称 varchar(255),
                          高校层次 varchar(255),
                          高校类型 varchar(255),
                          高校地区 varchar(255),
                          招生办电话 varchar(255),
                          招生办官网 varchar (255))"""
        cursor.execute(sql % ("全国高校基本信息"))
        conn.commit()  # 数据库数据提交
    
        for id in range(30,3000):
            try:
                url="https://gkcx.eol.cn/school/"+str(id)
                print(url)
                Get_info(url,id)
            except:
                continue
    
    if __name__ == '__main__':
        main()

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbW9yeV9xaWFueGlhbw_size_16_color_FFFFFF_t_70]: /images/20211203/c3e4783243f7406293084232824d308f.png
[https_gkcx.eol.cn]: https://gkcx.eol.cn/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbW9yeV9xaWFueGlhbw_size_16_color_FFFFFF_t_70 1]: /images/20211203/c2de2c79837444a2b339f9e94636dd1a.png
[Link 1]: https://blog.csdn.net/memory_qianxiao/article/details/88767327
[Link 2]: https://github.com/Memoryqiaxniao/Python3-/blob/master/%E5%85%A8%E5%9B%BD%E9%AB%98%E6%A0%A1%E6%95%B0%E6%8D%AE%E4%BF%A1%E6%81%AF%EF%BC%882019%E5%B9%B47%E6%9C%8819%E5%8F%B7%EF%BC%89