如何实现一键构建大数据GIS基础环境

快来打我* 2022-06-05 04:20 98阅读 0赞

题记

随着大数据技术的不断发展，越来越多的相关技术也在紧跟大数据发展的脚步，GIS就在其中。随着智慧城市概念的不断热炒，也随着80%的数据都自带或者隐含带有位置信息，也让GIS技术成为了各个行业以及应用系统基础技术支撑。

对于GIS来说，随着前几年的云GIS不断迭代，成熟发展，到这两年的大数据GIS，主流的GIS平台厂商都先后推出了大数据GIS基础软件，不管是哪一家的产品，其实更多的技术发展方向就是通过将先进的、开源的、成熟的大数据技术与GIS技术融合，包括分布式存储技术、分布式计算技术等，形成了各种平台的大数据技术方案。

问题

所以说，我们现在看GIS技术或者GIS产品跟几年前完全不一样，一方面我们仍然可以看到熟悉的空间查询、空间分析、专题图等强GIS标准词汇，但是我们现在看到更多的是VMware 、Elasticsearch、Spark等一些主流IT词汇，尽管各个GIS厂商提供的大数据GIS产品已经考虑了降低用户的使用门槛，但是在真正的生产环境下，希望得到一个更加成熟、更加稳定的软件架构，还是需要多个软件协同配合，提供支持。

例如

我们需要给予HDFS进行分布式存储，不管是数据存储在HDFS中，或者是存储在关系型数据Oracle中，但是通过HDFS进行RDD的缓存提供，通过mongoDB进行瓦片存储，通过ES进行实时流数据存储，通过Spark集群提供分布式计算支持，开发人员系统能够通过jupyter notebook进行灵活的开发支持，普通用户希望能够通过界面化的操作之间将数据上传到HDFS中，运维人员希望能够实现更针对GIS的运维监控，这些已经脱离了我们以往GIS的范畴，所以我们就需要对这些环境进行构建，看到这里可能有个疑问，如此多的环境没有基础如何部署呢？

接下来，介绍一下SuperMap如何通过iManager这个产品为用户提供一键式的大数据环境构建的。

原理：为了能够让用户快速构建，所以通过docker技术提供基础支持，也就是每一个环境都通过docker容器进行单元存储，通过提供各个环境的docker镜像，再通过docker-compose进行编排，进而实现一键式部署。

•物理机器要求：内存最少8G 建议16G，硬盘100g

•目标：创建一个虚拟机，部署HDFS、Spark、iServer、Datastore

1、基础软件

SuperMap iManager：链接：http://pan.baidu.com/s/1qYOFVVu 密码：iz9e

这是一个iManager的虚拟机镜像，也就是用户可以通过VirtualBox或者VMware 将ova文件导入进行就可以获得一个iManager的环境了。

该虚拟机内部部署的racher OS ，用户名和密码都是supermap。

使用过程中需要注意一下网络的设置，你可以获得DHCP，也可以手动设置IP信息。

# IP信息请自己根据情况设置

$ sudo ros config set rancher.network.interfaces.eth0.address 192.168.17.133/24 
    $ sudo ros config set rancher.network.interfaces.eth0.gateway 192.168.17.1 
    $ sudo ros config set rancher.network.interfaces.eth0.mtu 1500 
    $ sudo ros config set rancher.network.interfaces.eth0.dhcp false

启动完毕之后，就可以在浏览器访问iManager了。

访问iManager服务（iManager默认用户为admin，密码为admin）  
http://\{IP\}:8390/imanager  
![Center][]

大数据环境镜像包：链接：http://pan.baidu.com/s/1kVDuRJ5 密码：bt8e

将大数据镜像包下载之后，然后导入到刚才的虚拟机里面

1、解压缩镜像包  
gunzip < supermap\_docker\_image\_gis\_bigdata\_site\_9.tar.gz | tar xvf -

2、导入镜像  
与解压缩位置同级目录下执行下面命令  
sudo chmod +x ./images/pkg\_out.sh && sudo ./images/pkg\_out.sh  
  
3、修改iManager配置文件  
位置/opt/imanager/.env文件  
sudo vi /opt/imanager/.env  
Docker仓库的地址PRIVATE\_REGISTRY\_URL设为空

![Center 1][]

4、更新服务  
sudo /opt/imanager/start.sh

然后再重新刷新imanager，进入大数据站点构建

![Center 2][]

![Center 3][]

（注意：以上图的IP与前面环境并不一致）

从图中可以看到，我们为用户提供了HDFS、Spark（iObjects)、iServer、DataStore、MongoDB，同时还提供了HDFS和MongoDB的管理WebUI，这样即使用户并不了解大数据技术，也可以通过界面化操作完成大数据GIS环境构建。

[Center]: /images/20220605/9399f4d680f246968a18642ff10df3a1.png
[Center 1]: /images/20220605/ef03353ecd7f4c23884ac253936fa8c4.png
[Center 2]: /images/20220605/22fc029a8ec64e83bdf91253e96b7c55.png
[Center 3]: /images/20220605/aec9c93ac31e47348f38bc50fcb64400.png