Kylin 集群搭建

朱雀 2020-10-17 14:30 984阅读 0赞

# 1.环境说明 #

## 1.1 版本选择 ##

![环境配置.png][.png]

## 1.2Kylin 安装与配置 ##

### 1.2.1 软件下载 ###

下载地址：https://archive.apache.org/dist/kylin/apache-kylin-2.3.2/

### 1.2.2 解压 ###

tar -zxvf apache-kylin-2.3.2-bin-cdh57.tar.gz

### 1.2.3 建立软连接 ###

ln -s apache-kylin-2.3.2-bin kylin

### 1.2.4 添加 Kylin 相关环境变量 ###

Kylin 集群节点环境变量配置
    vim /etc/profile

export HADOOP_HOME=/home/hadoop/app/hadoop
    export PATH=$HADOOP_HOME/bin:$PATH
    export HBASE_HOME=/home/hadoop/app/hbase
    export PATH=$HBASE_HOME/bin:$PATH
    export HIVE_HOME=/home/hadoop/app/hive
    export HIVE_CONF_HOME=$HIVE_HOME/conf
    export PATH=$HIVE_HOME/bin:$PATH
    export KAFKA_HOME=/home/hadoop/app/kafka
    export PATH=$KAFKA_HOME/bin:$PATH
    export HCAT_HOME=$HIVE_HOME/hcatalog
    export PATH=$HCAT_HOME/bin:$PATH
    export KYLIN_HOME=/home/hadoop/app/kylin
    export PATH=$KYLIN_HOME/bin:$PATH

使环境变量生效
    source /etc/profile

备注：kylin hive 安装目录在每个节点都需要（后面会拷贝）
    scp -r hive hadoop@hadoop02:/home/hadoop/app/
    scp -r hive hadoop@hadoop01:/home/hadoop/app/
    scp -r apache-kylin-2.3.2-bin hadoop@hadoop01:/home/hadoop/app/
    scp -r apache-kylin-2.3.2-bin hadoop@hadoop02:/home/hadoop/app/

### 1.2.5 修改 kylin.properties 配置文件 ###

vi kylin.properties

#配置节点类型（kylin 主节点模式为 all，从节点的模式为 query）
    kylin.server.mode=all
    #kylin 集群节点配置
    kylin.server.cluster-servers=hadoop01:7070,hadoop02:7070,hadoop03:7070
    #定义 kylin 用于 MR jobs 的 job.jar 包和 hbase 的协处理 jar 包，用于提升性能(添加项)
    kylin.job.jar=/home/hadoop/app/kylin/lib/kylin-job-2.3.2.jar
    kylin.coprocessor.local.jar=/home/hadoop/app/kylin/lib/kylin-coprocessor-2.3.2.jar

### 1.2.6kylin 安装目录同步其他节点 ###

scp -r apache-kylin-2.3.2-bin hadoop@hadoop01:/home/hadoop/app/
    scp -r apache-kylin-2.3.2-bin hadoop@hadoop02:/home/hadoop/app/

### 1.2.7 修改其他节点 kylin.properties 配置文件 ###

ln -s apache-kylin-2.3.2-bin kylin
    vi kylin.properties
    #从节点为 query 模式
    kylin.server.mode=query

## 1.3 服务启动 ##

### 1.3.1 启动 Zookeeper 集群 ###

runRemoteCmd.sh "/home/hadoop/app/zookeeper/bin/zkServer.sh start" all

### 1.3.2 启动 hadoop 集群 ###

#启动 hdfs
    sbin/start-dfs.sh
    #启动 yarn
    sbin/start-yarn.sh
    #开启 jobhistoryserver
    sbin/mr-jobhistory-daemon.sh start historyserver

### 1.3.3 启动 HBase 集群 ###

bin/start-hbase.sh

### 1.3.4 启动 Hive ###