七十、CDH集群中部署Presto

妖狐艹你老母 2021-08-30 17:41 617阅读 0赞

Presto是完全基于内存的并行计算以及分布式SQL交互式查询引擎。它可以共享Hive的元数据，然后直接访问HDFS中的数据。同Impala一样，作为Hadoop之上的SQL交互式查询引擎，通常比Hive要快5-10倍。Presto是一个运行在多台服务器上的分布式系统。完整安装包括一个coordinator和多个worker。关注专栏[《破茧成蝶——大数据篇》][Link 1]，查看更多相关的内容~

--------------------

**目录**

一、准备工作

1、下载安装包

2、角色说明

二、解压等相关操作

三、准备Presto的配置文件

四、Presto服务的启动和停止

五、Presto集成Hive

六、测试

--------------------

# 一、准备工作 #

## 1、下载安装包 ##

我们使用的安装包是presto-server-0.230.tar.gz，链接路径为：

https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.230/presto-server-0.230.tar.gz

## 2、角色说明 ##

由于小编的CDH集群是四个节点，那么此处也配置四个节点，其中master节点安装coordinator，slave节点安装worker。Presto服务的安装目录为：

/opt/cloudera/parcels/presto

# 二、解压等相关操作 #

（1）将下载好的tar包上传到对应目录并解压

[root@cdh-master parcels]# pwd
    /opt/cloudera/parcels
    [root@cdh-master parcels]# tar -zxvf ./presto-server-0.230.tar.gz -C ./

（2）将解压好的目录分发到其余三个节点，以slave01为例

scp -r ./presto-server-0.230 cdh-slave01:/opt/cloudera/parcels/

（3）为所有节点的presto-server-0.230目录创建软连接

ln -s presto-server-0.230 presto

（4）所有节点的/opt/cloudera/parcels/presto/bin/launcher文件中添加java环境变量

JAVA_HOME=/opt/modules/jdk1.8.0_231
    PATH=$JAVA_HOME/bin:$PATH

使用这种方式就可以直为Presto服务指定JAVA环境，而不会影响服务器上其它服务的JAVA环境。这里需要注意的是，此处或许对jdk的版本要求比严，jdk小版本尽量大于151。

# 三、**准备Presto的配置文件** #

1、所有节点的/opt/cloudera/parcels/presto目录下创建etc目录，用于存放配置文件。

mkdir etc

2、所有节点新建node.properties文件，内容如下（这里以master节点为例，salve节点需要更改node.id等内容）：

node.environment=qgwlpresto
    node.id=presto-cdh01
    node.data-dir=/data/presto

node.environment是集群名称。所有在同一个集群中的Presto节点必须拥有相同的集群名称。node.id是每个Presto节点的唯一标识。每个节点的node.id都必须是唯一的。在Presto进行重启或者升级过程中每个节点的node.id必须保持不变。如果在一个节点上安装多个Presto实例（例如：在同一台机器上安装多个Presto节点），那么每个Presto节点必须拥有唯一的node.id。node.data-dir：数据存储目录的位置（操作系统上的路径）。Presto将会把日期和数据存储在这个目录下。

3、所有节点新建jvm.config文件，配置JVM参数，内容如下：

-server
    -Xmx8G
    -XX:+UseConcMarkSweepGC
    -XX:+ExplicitGCInvokesConcurrent
    -XX:+CMSClassUnloadingEnabled
    -XX:+AggressiveOpts
    -XX:+HeapDumpOnOutOfMemoryError
    -XX:OnOutOfMemoryError=kill -9 %p
    -XX:ReservedCodeCacheSize=150M

4、所有节点创建config.properties文件，这里需要注意的是master节点与slave节点的内容不一样。

（1）master节点即coordinator节点的配置如下：

coordinator=true
    node-scheduler.include-coordinator=false
    http-server.http.port=8089
    query.max-memory=4GB
    query.max-memory-per-node=1GB
    discovery-server.enabled=true
    discovery.uri=http://cdh-master:8089

（2）slave节点即worker节点的配置如下：

coordinator=false
    http-server.http.port=8089
    query.max-memory=4GB
    query.max-memory-per-node=1GB
    discovery.uri=http://cdh-master:8089

其中，coordinator指定是否将Presto实例作为一个coordinator（接收来自客户端的查询情切管理每个查询的执行过程）。node-scheduler.include-coordinator指是否允许在coordinator服务中进行调度工作。对于大型的集群，在一个节点上的Presto server即作为coordinator又作为worker将会降低查询性能。因为如果一个服务器作为worker使用，那么大部分的资源都不会被worker占用，那么就不会有足够的资源进行关键任务调度、管理和监控查询执行。http-server.http.port即指定HTTP server的端口。Presto使用HTTP进行内部和外部的所有通讯。discovery.uri是Discoveryserver的URI。由于启用了Prestocoordinator内嵌的Discovery服务，因此这个uri就是Prestocoordinator的uri。

5、所有节点新建日志文件log.properties，内容如下：

com.facebook.presto=INFO

# 四、**Presto服务的启动和停止** #

# 启动
    /opt/cloudera/parcels/presto/bin/launcher start
    # 停止
    /opt/cloudera/parcels/presto/bin/launcher stop

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70][]

关于Presto的更多命令，可以通过如下命令查看：

/opt/cloudera/parcels/presto/bin/launcher --help

# 五、**Presto集成Hive** #

1、在所有节点的/opt/cloudera/parcels/presto/etc目录下新建catalog目录：

mkdir catalog

2、所有节点在catalog目录下创建hive.properties，该文件与Hive服务集成使用，内容如下：

connector.name=hive-hadoop2
    hive.metastore.uri=thrift://cdh-master:9083

3、修改presto的jvm.config,在配置文件中增加Presto访问HDFS的用户名，如下所示：

4、上述用户为presto，需要新建此用户。

useradd presto

5、重启presto服务

/opt/cloudera/parcels/presto/bin/launcher restart

# 六、测试 #

1、这里测试Presto与Hive的集成使用Presto提供的Presto CLI，该CLI是一个可执行的JAR文件，首先需要下载该文件：

https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.230/presto-cli-0.230-executable.jar

2、将下载好的文件上传到/opt/cloudera/parcels/presto/bin目录下并修改文件名称：

mv presto-cli-0.230-executable.jar presto

3、赋权

chmod +x presto

4、执行如下命令访问Hive

./presto --server cdh-master:8089 --catalog=hive --schema=databaseName

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 1][]

5、监控界面可以看到相关信息

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 2][]

至此，本文就结束了，你们在此过程中遇到了什么问题，欢迎留言，让我看看你们都遇到了哪些问题~

[Link 1]: https://blog.csdn.net/gdkyxy2013/category_10006538.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70]: /images/20210726/c85fd064016944d099f658fb155cef6b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 1]: /images/20210726/96ae4dfcd4304bafb15763b8dd11aa7b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 2]: /images/20210726/66ebc3855ed642938c3def8db10ebcb9.png