centos6.5安装配置spark

约定不等于承诺〃 2022-09-22 11:40 172阅读 0赞

## 安装java ##

1.  [下载jdk][jdk]
2.  解压 `tar -zxvf jdk-8u91-linux-x64.tar.gz`
3.  设置JAVA\_HOME：修改配置文件vi /etc/profile，最后一行添加以下代码
    
        export JAVA_HOME=/usr/java/jdk1.8.0_91   
        export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar  
        export PATH=$PATH:$JAVA_HOME/bin
4.  命令：source /etc/profile 使文件立即生效
5.  命令：java -version 检测是否安装成功

## 安装hadoop ##

[安装hadoop的文章链接][hadoop]

## 安装spark ##

1.  [下载spark][spark]  
    ![这里写图片描述][20160628180933087]
2.  解压
3.  修改配置文件vi /etc/profile，最后一行添加以下代码
    
        export SPARK_HOME=/home/spark
        export PATH=$PATH:$SPARK_HOME/bin
4.  命令：source /etc/profile 使文件立即生效
5.  `spark-shell` 命令，即可启动spark单机模式
6.  配置spark-env.sh，进入spark/conf
    
        mv spark-env.sh.template spark-env.sh
        vim spark-env.sh
        
        #以下添加在末尾
        
        export  SPARK_MASTER_IP=192.168.232.130
        export  SPARK_LOCAL_IP=192.168.232.130
    
    `192.168.232.130`为本机的ip
7.  `spark/sbin/start-all.sh` 命令，即可启动伪分布式模式

[jdk]: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
[hadoop]: http://blog.csdn.net/jaysonhu/article/details/51387222
[spark]: http://spark.apache.org/downloads.html
[20160628180933087]: /images/20220721/39668029b87740f2bc9893b7933719be.png

发表评论取消回复

表情：

评论列表（有 0 条评论，172人围观）

还没有评论，来说两句吧...

相关阅读

相关 CentOS上安装spark standalone mode

参考： [http://spark.incubator.apache.org/docs/latest/][http_spark.incubator.apache.org_do

我不是女神ヾ/ 2022年12月26日 13:29/ 0 赞/ 149 阅读

相关 Centos7下Spark下载与安装

目录 Centos7下Spark安装第一步：软件下载或编译第二步：安装软件（1）上传文件

短命女/ 2022年11月26日 15:54/ 0 赞/ 198 阅读

相关 Spark--安装与配置

原文网址：[Spark--安装与配置\_IT利刃出鞘的博客-CSDN博客][Spark--_IT_-CSDN] 简介需要安装的：JDK、scala、Spark（注意与

柔光的暖阳◎/ 2022年10月31日 13:48/ 0 赞/ 157 阅读

相关 centos6.5安装配置spark

安装java 1. [下载jdk][jdk] 2. 解压 `tar -zxvf jdk-8u91-linux-x64.tar.gz` 3. 设置JAVA\_HOME

约定不等于承诺〃/ 2022年09月22日 11:40/ 0 赞/ 173 阅读

相关 Spark安装和配置

http://[blog.csdn.net/pipisorry/article/details/50924395][blog.csdn.net_pipisorry_articl

男娘i/ 2022年07月29日 08:41/ 0 赞/ 308 阅读

相关 [Spark] CentOS6.7安装独立版Spark

1. 系统环境： Linux：CentOS6.7 JDK: jdk-1.8.0\_131 Scala: Scala-2.12.2 Spark: Spark-2.

我就是我/ 2022年06月13日 09:24/ 0 赞/ 205 阅读

相关 CentOS65安装Mysql5.7.20

CentOS 6.5 下安装MySQL 5.7.12，使用官网下载的rpm安装包下载安装包下载地址：http://cdn.mysql.com//Downloads/

红太狼/ 2022年06月05日 05:55/ 0 赞/ 313 阅读

相关 Spark环境配置和安装

背景：不久前认知计算课上留了一个作业：用Spark完成一个机器学习的程序。我也因此第一次接触Spark和机器学习，记录下关于Spark环境配置和安装的一些细节，顺便

「爱情、让人受尽委屈。」/ 2022年06月03日 03:37/ 0 赞/ 200 阅读

相关 Spark集群安装配置

一、准备工作 1.安装centos 6.5 2.安装 jdk 1.8.x 3.配置三台机器之间的ssh通信 4.安装hadoop2.7.x以上的版本以上步骤在已经配

红太狼/ 2022年05月27日 05:38/ 0 赞/ 262 阅读

相关 spark分布式安装配置

1.配置worker vim conf/slaves.template 2.配置master vim spark-env.sh export JAVA\_HOME

女爷i/ 2022年03月22日 03:46/ 0 赞/ 209 阅读