pandas.read_html()读取网页表格类数据

红太狼 2023-01-08 02:19 298阅读 0赞

目标网站  
[http://www.tianqihoubao.com/lishi/wanzhou/month/201101.html][http_www.tianqihoubao.com_lishi_wanzhou_month_201101.html]  
![20210118160206107.png_pic_center][]

表格类数据格式样子  
![20210118160613261.png_pic_center][]

大致网络结构

<table></table> 表示整体表格
     <tr>...</tr>表示一行
     <td>...</td>表示某一格的数据

代码

从HTML文件读取数据

如上所示，Pandas可以直接用DataFrame生成HTML表格，同样可以读取HTML文件。read\_html()函数解析HTML页面，寻找HTML表格。如果找到，就将其转换为可以直接用于数据分析的DataFrame对象。

即使只有一个表格，read\_html()函数也会返回一个DataFrame列表

import pandas as pd
    
    dates=[201901,201902,201903,201904,201905,201906,201907,201908,201909,201910,201911,201912]
    print(dates)# 构造出日期序列 便于之后构造url
    
    for i in range(len(dates)):
        df = pd.read_html(f'http://www.tianqihoubao.com/lishi/wanzhou/month/{dates[i]}.html', encoding='gbk', header=0)[0]
        print(df)
        if i == 0:
            df.to_csv('2019年万州天气预报数据.csv', mode='a+', index=False)     # mode='a+'追加写入
            i += 1
        else:
            df.to_csv('2019年万州天气预报数据.csv', mode='a+', index=False, header=False)
    print('结束')

![20210118170159224.png_pic_center][] ![20210118170240213.png_pic_center][]

换一个网站  
[http://data.eastmoney.com/hsgt/top10.html][http_data.eastmoney.com_hsgt_top10.html]

import pandas as pd
    df = pd.read_html(f'http://data.eastmoney.com/hsgt/top10.html', encoding='gbk')[0]
    print(df)

![20210118171204970.png_pic_center][]

一些复杂网站无法读取。  
能读取就读，不能读就尝试爬虫吧  
![在这里插入图片描述][20210118171755777.jpg_pic_center]

[http_www.tianqihoubao.com_lishi_wanzhou_month_201101.html]: http://www.tianqihoubao.com/lishi/wanzhou/month/201101.html
[20210118160206107.png_pic_center]: /images/20221119/f788a229f8314e43969d7f58934fa2c0.png
[20210118160613261.png_pic_center]: /images/20221119/82b7196f6ac842ca9ba723ae69808a83.png
[20210118170159224.png_pic_center]: https://img-blog.csdnimg.cn/20210118170159224.png#pic_center
[20210118170240213.png_pic_center]: /images/20221119/2383508433b14c54abe900caab42c069.png
[http_data.eastmoney.com_hsgt_top10.html]: http://data.eastmoney.com/hsgt/top10.html
[20210118171204970.png_pic_center]: https://img-blog.csdnimg.cn/20210118171204970.png#pic_center
[20210118171755777.jpg_pic_center]: https://img-blog.csdnimg.cn/20210118171755777.jpg#pic_center