SequoiaDB数据库搭建Spark

雨点打透心脏的1/2处 2022-06-08 08:27 225阅读 0赞

先介绍我的Sequoiadb集群环境：

192.168.31.16  
                192.168.31.17
                192.168.31.18

这三台机器搭建的集群，准备将192.168.31.16  这台机器作为我的spark的主节点

**一、第一步配置jdk**

配置jdk可参考如下：

在/usr/java目录下已经存在jdk

vi  home/sequoiadb/.bashrc

配置如下：

export JAVA_HOME =/usr/java/jdk
    1.8.0_66
    export PATH=$JAVA_HOME/bin:$PATH

然后执行

source /home/sequoiadb/.bashrc

使配置生效，或者执行 ~/.bashrc也能达到同样的效果

执行java -version 可以看出已经安装好jdk1.8

这样只是在home目录下配置的jdk，最好在etc目录下配置，和以上操作完全一样。

最后检查是否生效

echo$PATH

**二、spark相关配置**

进入下载好的spark安装包,这里下载的是2.1版本

cd spark-2.1.0-bin-hadoop2.7

到conf目录下 首先将下面两个文件进行备份

cp spark-env.sh.spark-env.sh.bak
    cp slaves. slaves.bak

进入spark-env.sh配置文件

vi spark-env.sh

跳转到最后

配置如下：在集群每台机器上都配置相同17,18机上和16机器上位置相同

export JAVA_HOME=/opt/java/
    
    export SCALA_HOME=/opt/scala/scala-2.11.8
    export SPARK_MASTER_PORT="7077"
    export SPARK_MASTER_IP=192.168.31.16

\#每个work的大小

export SPARK\_WORK\_MEMORY=1024m

\#此机器中work的数量

export  SPARK\_WORKER\_INSTANCES=1

export SPARK\_CLASSPATH=/home/sequoiadb/spark-2.1.0-bin-hadoop2.7/lib/sequoiadb.jar:/home/sequoiadb/spark-2.1.0-bin-hadoop2.7/lib/spark-sequoiadb\_2.11-2.6.0.jar

注意其中 SPARK\_MASTER\_IP =192.168.31.16 表示16机为主机，配置的端口为7077，默认内存为1024M（这个后面可以自己指定）

在集群每台机器上都配置相同17,18机上和16机器上配置完全相同

给  slaves文件中追加如下内容:

T-NL-HISDB01
    T-NL-HISDB02
    T-NL-HISDB03

是分别对应3台机的hostname

T-NL-HISDB01 192.168.31.16

T-NL-HISDB02 192.168.31.17

T-NL-HISDB03 192.168.31.18

**三、 配置spark环境变量**

这里是配置在/home/sequoiadb中

vi ~/.bashrc

export PATH=$PATH:/opt/sequoiadb/bin:/home/sdbadmin/pgsql/bin
    export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/sequoiadb/lib:/home/sdbadmin/pgsql/lib
    export JAVA_HOME=/opt/java/jdk1.7.0_80
    export SCALA_HOME=/opt/scala/scala-2.11.8
    export SPARK_HOME=/opt/spark/spark-2.1.0-bin-hadoop2.7
    export PATH=${JAVA_HOME}/bin:${SPARK_HOME}/bin:${SCALA_HOME}/bin:$PATH

使配置生效

source ~/.bastrc

查看是否生效

echo$PATH

配置成功会打印出环境变量

**四、启动spark**

切换到spark的sbin目录下，执行：

./start-all.sh

使用jps命令是显示当前所有java进程pid会发现有Java进程被启动

>jps

32394 Master
    467 Jps
    32491 Worker

切换到bin目录下，运行其中spark-sql：

bin/spark-sql

可以看到可以成功执行spark-sql，使用ctrl+c退出

执行sbin目录下的start-thriftsever.sh文件

sbin/start-thriftserver.sh  --master spark://192.168.31.16:7077   --total-executor-cores 2 --executor-memory 2

（其中192.168.31.16为master节点IP）

上面的配置为：

total-executor-cores 2 表示配置的spark core为2 c

executor-memory 2g 表示配置的内存为 2g大小

此时使用JPS可以查看到如下：

31148 Master
    31403 CoarseGrainedExecutorBackend
    31437 Jps
    31245 Worker
    31338 SparkSubmit

发现java进程多了Sparksubmit和CoarseGrainedExecutorBackend ，表示集群已经启动成功。

在bin目录下执行./beeline，进入spark的beeline命令中：

/bin/beeline

目的是将SQL执行出的结果排序显示

进入beeline中， 使用jdbc连接数据库：

beeline>!connect jdbc:hive2://localhost:10000

按两次回车，（其中账户和密码为默认值），可以看到连接到localhost：10000

ctrl+c即可退出连接

**五、进入spark后进行相关操作**

显示spark中的库

show databases ;

进入库

use casName ;

进入的是cas库

在进入的库中显示表

show  tables;

spark查看表结构

desc tablename;
     desc formatted tablename; //此种方法可以查看到关联的Sequoiadb的相关信息

**六、常见异常**

1、操作spark的时候出现 jdbc  ：hive2://localhost:1000(closed)>show databases；

原因分析：

是因为连接beeline时候不是在master节点上操作的

首先使用jps查看  Master节点在那台机器上 ，

进入beeline模式后连接jdbc时指定master的IP进行连接：

! connect jdbc :hive2://192.168.31.16:10000

如果在master机器中操作可以将192.168.31.16换为localhost，其他work机器只能使用master机器的IP进行连接。

2、重新启动spark

在master机器上操作：

cd ../sbin 
    ./stop-all.sh
    ./stop-thriftserver.sh
    jps                        //用来查看spark集群是否已经停止
    ./start-all.sh
    sbin/start-thriftserver.sh  --master spark://192.168.31.16:7077   --total-executor-cores 2 --executor-memory 2

**七、spark映射Sequoiadb集合**

映射集合

create table test.table(   
     field1                      double    ,     
     field2                      bigint  ,      
     field3                      int       ,     
     field4                      string         
    )USING com.sequoiadb.spark OPTIONS(host '192.168.31.16:11810', collectionspace 'cs', collection 'cl', username 'username', password 'password')

spark中关联表只是将long字段替换为 bigint 其他字段类型不用替换

db.cs.cl.find(); //在Sequoiadb中查找
    select * from test.table ;  //在spark中查找

在Sequoiadb中进行的查询的内容和通过spark中查找出来的内容是相同时说明此时为映射可用。

想要了解更多Sequoiadb内容请访问：http://www.sequoiadb.com/cn/