高德POI数据爬虫

我就是我 2023-10-11 14:02 8阅读 0赞

##### poi #####

在做爬虫的时候，不免都有爬取这个数据是不是合法的这种担忧，程序中也有加代理、UA、控制爬取频率等手段来避免被网站识别。但是从一些数据平台开放的接口中爬取数据就不需要有这种考量。  
曾经做过这么个需求，爬取一个省份的POI。POI是Point of Information的缩写，即信息点。在地理信息系统中，一个POI可以是一栋房子、一个商铺、一个邮筒、一个公交站等。但是POI的正统翻译还是Point of Interest，即兴趣点。  
每个POI包含四方面信息，名称、类别、坐标、分类，那时候就打算从一些公示网站爬取，数据更新缓慢导致不准确不说，而且因为数据量太大，爬取效果也不理想，后来就找到了高德的一个poi数据开发平台，完成了数据采集。  
高德开放平台通过API来提供poi数据，通过参数可以控制地区、类别等信息。

##### 登录高德账号 #####

点击 [高德开放平台入口][Link 1] 进入页面，没有注册的homie先注册一个账号，注册登录之后点击[申请key][key]

##### 注册密钥 #####

1 进入注册页面的首页，点击新建应用  
![新建应用][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NhdGNoTGlnaHQ_size_16_color_FFFFFF_t_70_pic_center]

2 填写配置，选择web端(JS API)  
![应用配置][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NhdGNoTGlnaHQ_size_16_color_FFFFFF_t_70_pic_center 1]  
3 点击管理key，查看申请的密钥![获取key][key 1]

![密钥][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NhdGNoTGlnaHQ_size_16_color_FFFFFF_t_70]

##### 接口使用 #####

点击 [接口规范][Link 1] 进入页面查看接口的规范，请求参数如下

'https://restapi.amap.com/v3/place/text?key=输入你的key&city={0}&extensions=all&types={1}&citylimit=true&offset=25'

其中key就是申请的秘钥，city和types可以下载[POI分类编码和城市编码表][POI]来获取自己想要的poi数据。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NhdGNoTGlnaHQ_size_16_color_FFFFFF_t_70 1]

##### 结果数据 #####

这就是从接口中获取的poi数据，可用于地图打点等方面  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NhdGNoTGlnaHQ_size_16_color_FFFFFF_t_70 2]

##### 日常结语 #####

这个接口的调用也是有限制的，[点击查看调用量][Link 2]，一般每天可以free调用3W次，一次25个poi，这样一天也能获取70W个poi，enough！！！  
晚安，homie。

[Link 1]: https://lbs.amap.com/api/webservice/guide/api/search/
[key]: https://lbs.amap.com/dev/key
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NhdGNoTGlnaHQ_size_16_color_FFFFFF_t_70_pic_center]: https://img-blog.csdnimg.cn/20200726002817182.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NhdGNoTGlnaHQ=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NhdGNoTGlnaHQ_size_16_color_FFFFFF_t_70_pic_center 1]: https://img-blog.csdnimg.cn/20200726002911206.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NhdGNoTGlnaHQ=,size_16,color_FFFFFF,t_70#pic_center
[key 1]: https://img-blog.csdnimg.cn/20200726003208296.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NhdGNoTGlnaHQ=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NhdGNoTGlnaHQ_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200726002234393.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NhdGNoTGlnaHQ=,size_16,color_FFFFFF,t_70
[POI]: https://lbs.amap.com/api/webservice/download
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NhdGNoTGlnaHQ_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200726003742346.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NhdGNoTGlnaHQ=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NhdGNoTGlnaHQ_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200726004524702.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NhdGNoTGlnaHQ=,size_16,color_FFFFFF,t_70
[Link 2]: https://lbs.amap.com/api/webservice/guide/tools/flowlevel