Apache Doris集群模式快速体验之标准部署（2）

谁借莪１个温暖的怀抱￠ 2023-10-13 09:24 8阅读 0赞

#### Apache Doris集群模式快速体验之标准部署（2） ####

*  目标集群
 *  单节点初始化
 *   *  JAVA环境
     *  时钟设置
     *  安装部署
     *   *  安装包下载
         *  FE配置
         *  BE配置
         *  初始化
 *  集群初始化
 *   *  节点克隆
     *  集群HOST
     *  集群免密
     *  FE配置
     *  BE配置
     *  初始化
     *  集群测试
 *  常见问题
 *   *  wget下载失败
     *  无法rz上传文件
     *  安装常用包

## 目标集群 ##

1.  **版本**：1.2.4.1
2.  **规模**：3FE/3BE/1Broker

## 单节点初始化 ##

### JAVA环境 ###

> 下载地址：https://www.oracle.com/cn/java/technologies/javase/javase8u211-later-archive-downloads.html

#初始化目录
    mkdir /opt
    cd /opt
    mkdir java
    cd java 
    
    #上传下载好的arm java压缩包并解压
    mkdir /usr/local/java
    tar -xf jdk-8u361-linux-aarch64.tar.gz -C /usr/local/java
    
    #配置环境变量
    vim /etc/profile
    
    export JAVA_HOME=/usr/local/java/jdk1.8.0_361 #这里一定要更改为自己的路径和文件名
    export JRE_HOME=${JAVA_HOME}/jre
    export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
    export PATH=${JAVA_HOME}/bin:$PATH
    
    #wq保存退出
    #使环境生效
    source /etc/profile
    
    #确定java bin路径
    which java
    #最终确定路径:/usr/local/java/jdk1.8.0_361/bin

### 时钟设置 ###

#同步时间，需要使⽤ ntpdate 命令，如果没有可以使⽤yum安装
    yum install ntpdate
    
    #使⽤ntpdate同步⽹络上的时间服务器的时间，例如 : time.windows.com、 ntp.aliyun.com
    ntpdate -u ntp.aliyun.com
    
    #可以将时间同步做成⼀个定时任务，每隔⼀段时间就同步⼀下⽹络的时间
    crontab -e
    * * * * * /usr/sbin/ntpdate -u ntp.aliyun.com   #输入然后wq保存退出
    
    #查看crontab运行情况
    crontab -l
    tail -n 5 /var/log/cron

### 安装部署 ###

#### 安装包下载 ####

#初始化目录
    cd /opt 
    mkdir doris1.2.4
    
    #查看系统CPU型号
    uname -a
    
    #下载与系统cpu型号一致的包
    wget https://apache-doris-releases.oss-accelerate.aliyuncs.com/apache-doris-1.2.4.1-bin-aarch64.tar.xz
    
    #解压
    xz -d apache-doris-1.2.4.1-bin-aarch64.tar.xz
    tar -xvf apache-doris-1.2.4.1-bin-aarch64.tar
    
    #目录结构如下
    ll

![在这里插入图片描述][a43674309a4f4306bde6024a426d8214.png]

#### FE配置 ####

vim fe/conf/fe.conf
    
    #只需要修改priority_networks
    priority_networks = 192.168.31.81/24

#### BE配置 ####

vim be/conf/be.conf 
    
    #需要修改JAVA_HOME和priority_networks即可
    JAVA_HOME=/usr/local/java/jdk1.8.0_361/
    priority_networks = 192.168.31.81/24

#### 初始化 ####

#启动fe
    sh fe/bin/start_fe.sh --daemon
    
    #启动be
    sh be/bin/start_be.sh --daemon
    
    #添加be到集群
    alter system add backend "192.168.31.81:9050";
    
    #查看be状态
    show PROC '/backends';

![在这里插入图片描述][dfa1553a09d7400bbec9ea249a2e2387.png]

## 集群初始化 ##

### 节点克隆 ###

1.  将初始化完成的fe/be进程关闭并关机

#停止fe
    sh fe/bin/stop_fe.sh 
    
    #停止be
    sh be/bin/stop_be.sh 
    
    #关机
    shutdown

1.  在VM的**窗口-虚拟机资源库**中找到上面初始化完成的节点，然后右键点击**创建完整克隆**即可  
    ![在这里插入图片描述][3d1c3367e5014c148867ef5bdd9e32e2.png]
2.  克隆完成后如图所示  
    ![在这里插入图片描述][9a1334b95e9e43188650fcb91ed1b5e4.png]

### 集群HOST ###

#查看ip
    ip addr
    
    #当安装好虚拟机时，系统会自动配置IP，以这个IP去配置即可
    192.168.31.81 doris01
    192.168.31.72 doris02
    192.168.31.136 doris03

### 集群免密 ###

#分别在3个节点上使⽤rsa加密技术⽣成公钥和私钥；⼀路回⻋即可
    #doris01
    cd ~
    ssh-keygen -t rsa
    #doris02
    cd ~
    ssh-keygen -t rsa
    #doris03
    cd ~
    ssh-keygen -t rsa
    
    #生成公钥
    #doris01
    cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
    ssh root@doris02 cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
    ssh root@doris03 cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
    # 查看认证文件，有3台节点的密钥
    cat ~/.ssh/authorized_keys
    
    #复制认证文件给其它两台
    scp ~/.ssh/authorized_keys root@doris02:~/.ssh/authorized_keys
    scp ~/.ssh/authorized_keys root@doris03:~/.ssh/authorized_keys

### FE配置 ###

#同单节点初始化一样
    vim fe/conf/fe.conf
    
    #只需要修改priority_networks
    priority_networks = [ip addr]/24

### BE配置 ###

#同单节点初始化一样
    vim be/conf/be.conf 
    
    #需要修改JAVA_HOME和priority_networks即可
    JAVA_HOME=/usr/local/java/jdk1.8.0_361/
    priority_networks = [ip addr]/24

### 初始化 ###

#在doris01启动fe作为master节点
    sh fe/bin/start_fe.sh --daemon
    
    #分别在3个节点上启动be
    sh be/bin/start_be.sh --daemon
    #添加另外2个be到集群
    alter system add backend "192.168.31.72:9050";
    alter system add backend "192.168.31.136:9050";
    
    #分别在另外2个节点上启动fe
    ./bin/start_fe.sh --helper 192.168.31.81:9010 --daemon
    #添加另外2个fe到集群
    ALTER SYSTEM ADD FOLLOWER "192.168.31.72:9010";
    ALTER SYSTEM ADD FOLLOWER "192.168.31.136:9010";
    
    #启动broker
    sh dependencies/apache_hdfs_broker/bin/start_broker.sh --daemon
    #添加broker到集群
    ALTER SYSTEM ADD BROKER broker_name "192.168.31.81:8000"; 
    
    #登录fe web查看be
    http://192.168.31.81:8030/

![在这里插入图片描述][407ac31448be4f2990e7a5cf8eb5cd6d.png]

### 集群测试 ###

-- 建测试库
    create database doris;
    
    -- 建测试表
    CREATE TABLE doris.doris_test ( 
      `id` varchar(1000) NULL COMMENT "来源库表键",
      `test01` BIGINT SUM DEFAULT "0" COMMENT "测试"
    ) ENGINE=OLAP
    AGGREGATE KEY(`id`)
    COMMENT "doris测试表"
    DISTRIBUTED BY HASH(`id`) BUCKETS 1
    PROPERTIES (
    "replication_allocation" = "tag.location.default: 3",
    "in_memory" = "false",
    "storage_format" = "V2",
    "storage_medium" = "HDD"
    ); 
    
    -- 写入数据
    insert into doris.doris_test values
    ('1',1),('1',1),('3',1);
    
    
    -- 查询数据
    select count(1) from doris.doris_test;
    select * from doris.doris_test limit 100;
    
    -- 查看表副本状态
    ADMIN SHOW REPLICA STATUS FROM  doris.doris_test;

![在这里插入图片描述][1268ec2a52bc4dc99227a305826cb430.png]  
**至此，基于 CentOS7标准部署的Apache Doris集群模式入门体验完成。**

## 常见问题 ##

### wget下载失败 ###

> 报认证相关的异常

#临时处理
    wget --no-check-certificate  https....
    
    #永久安装证书
    sudo yum install -y ca-certificates

### 无法rz上传文件 ###

> 异常：/bin/sh：UnixPty: Unable to write output -> Resource temporarily unavailable

#首先安装vsftpd
    yum -y install vsftpd
    
    #开启sftp服务
    service vsftpd start
    
    #使root可进行sftp登录使用，将下面两个文件中的root行注释
    vim /etc/vsftpd/etc/vsftpd
    vim /etc/vsftpd/etc/user_list
    
    #重启sftp服务
    service vsftpd restart
    
    # 强制selinux验证改为警告，如果改为禁用会导致重启后无法登录
    vim /etc/selinux/config
    SELINUX=permissive
    
    #本地shell测试
    sftp -P 22  root@192.168.31.1
    #输入密码进入，开始上传
    #查看最终上传的目录
    pwd 
    #进入指定的上传目录
    cd path 
    #上传文件，必须是连接时当前目录下的文件
    put a.txt 
    
    #其它示例
    #创建文件夹
    mkdir dirname 
    #下载文件
    get b.txt 
    #查看当前目录文件
    ls 
    #退出
    exit

### 安装常用包 ###

#安装上传下载
    yum install lrzsz
    
    #安装tar压缩
    yum install tar
    
    #执行history时让所有用户生效-显示时间
    vim /etc/profile
    #底部追加
    HISTTIMEFORMAT=" %F %T "
    
    #......

[a43674309a4f4306bde6024a426d8214.png]: https://img-blog.csdnimg.cn/a43674309a4f4306bde6024a426d8214.png
[dfa1553a09d7400bbec9ea249a2e2387.png]: https://img-blog.csdnimg.cn/dfa1553a09d7400bbec9ea249a2e2387.png
[3d1c3367e5014c148867ef5bdd9e32e2.png]: https://img-blog.csdnimg.cn/3d1c3367e5014c148867ef5bdd9e32e2.png
[9a1334b95e9e43188650fcb91ed1b5e4.png]: https://img-blog.csdnimg.cn/9a1334b95e9e43188650fcb91ed1b5e4.png
[407ac31448be4f2990e7a5cf8eb5cd6d.png]: https://img-blog.csdnimg.cn/407ac31448be4f2990e7a5cf8eb5cd6d.png
[1268ec2a52bc4dc99227a305826cb430.png]: https://img-blog.csdnimg.cn/1268ec2a52bc4dc99227a305826cb430.png