centos6.5安装配置spark

约定不等于承诺〃 2022-09-22 11:40 230阅读 0赞

安装java

  1. 下载jdk
  2. 解压 tar -zxvf jdk-8u91-linux-x64.tar.gz

  3. 设置JAVA_HOME：修改配置文件vi /etc/profile，最后一行添加以下代码

    1. export JAVA_HOME=/usr/java/jdk1.8.0_91   
    2. export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar  
    3. export PATH=$PATH:$JAVA_HOME/bin
  4. 命令：source /etc/profile 使文件立即生效
  5. 命令：java -version 检测是否安装成功

安装hadoop

安装hadoop的文章链接

安装spark

  1. 下载spark
    这里写图片描述
  2. 解压

  3. 修改配置文件vi /etc/profile，最后一行添加以下代码

    1. export SPARK_HOME=/home/spark
    2. export PATH=$PATH:$SPARK_HOME/bin
  4. 命令：source /etc/profile 使文件立即生效
  5. spark-shell 命令，即可启动spark单机模式

  6. 配置spark-env.sh，进入spark/conf

    1. mv spark-env.sh.template spark-env.sh
    2. vim spark-env.sh
    4. #以下添加在末尾
    6. export  SPARK_MASTER_IP=192.168.232.130
    7. export  SPARK_LOCAL_IP=192.168.232.130

    192.168.232.130为本机的ip

  7. spark/sbin/start-all.sh 命令，即可启动伪分布式模式

发表评论

表情：
评论列表 （有 0 条评论，230人围观）

还没有评论，来说两句吧...

相关阅读