spark环境搭建，en

太过爱你忘了你带给我的痛 2023-03-04 11:22 6阅读 0赞

## 准备 ##

首先，安装Spark需要检查是否安装jdk

下载spark安装包 https://archive.apache.org/dist/spark/spark-2.2.0/spark-2.2.0-bin-hadoop2.7.tgz

> Spark安装不一定需要安装Hadoop，若已搭建Hadoop集群，建议下载对应版本Hadoop

## 解压安装包 ##

# 解压Spark安装包到指定路径
    tar -zxf spark-2.2.0-bin-hadoop2.7.tgz -C  /opt/softs
    # 为方便使用，可建立软链接
    ln -s spark-2.2.0-bin-hadoop2.7 spark

## 配置环境变量 ##

vi /etc/profile
    
    # 增加内容
    export SPARK_HOME=/opt/install/spark-2.2.0-bin-hadoop2.7
    export PATH=$SPARK_HOME/bin:$PATH
    
    # 使环境变量生效
    source /etc/profile

## 配置文件 ##

cd $SPARK_HOME/conf
    cp spark-env.sh.template spark-env.sh
    
    # 增加内容
    # jdk安装目录
    export JAVA_HOME=/opt/softs/java8
    # hadoop安装路径
    export HADOOP_HOME=/opt/install/hadoop
    # hadoop配置文件路径
    export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
    #指定master的主机
    export SPARK_MASTER_HOST=hadoop101
    #指定master的端口
    export SPARK_MASTER_PORT=7077
    
    # slaves单台可以不配置，也可以按下面方式配置
    cp slaves.template slaves
    vi slaves 
    # 增加内容	删掉localhost
    hadoop1	#节点名

## 启动Spark集群 ##

在spark目录下`sbin/start-all.sh`

输入jps，查看是否有Master和Worker进程

### 启动spark-shell ###

*  测试scala交互式环境

spark-shell --master spark://hadoop1:7077

可以通过浏览器访问：http://hadoop101:8080/

*  测试Spark on YARN

spark-shell --master yarn

可以通过浏览器访问：http://hadoop:4041/

发表评论取消回复

表情：

评论列表（有 0 条评论，6人围观）

还没有评论，来说两句吧...

相关阅读

相关 spark环境搭建，en

准备首先，安装Spark需要检查是否安装jdk 下载spark安装包 https://archive.apache.org/dist/spark/spark-2.2.

太过爱你忘了你带给我的痛/ 2023年03月04日 11:22/ 0 赞/ 7 阅读

相关 windows下Spark环境搭建

参考文章：[https://www.jb51.net/article/163020.htm][https_www.jb51.net_article_163020.htm]

比眉伴天荒/ 2022年10月07日 09:48/ 0 赞/ 318 阅读

相关 5-1、Spark环境搭建

2、Spark环境搭建 2.1、官网下载 Spark官网地址：[http://spark.apache.org/][http_spark.apache.org]

ゝ一纸荒年。/ 2022年08月21日 03:09/ 0 赞/ 221 阅读

相关 Intellij Idea搭建Spark开发环境

在[Spark快速入门指南 – Spark安装与基础使用][Spark_ _ Spark]中介绍了Spark的安装与配置，在那里还介绍了使用spark-submit提交应用，不

太过爱你忘了你带给我的痛/ 2022年07月28日 01:27/ 0 赞/ 292 阅读

相关 Centos下环境搭建spark环境

前提：已安装Hadoop(至少安装了HDFS) 一、安装scala 下载scala-2.10.4.tgz 地址：[http://www.scala-lang.org/d

电玩女神/ 2022年07月15日 11:26/ 0 赞/ 295 阅读

相关 spark搭建

前提：安装好了scala java hadoop 然后安装spark，只需要解压spark 1：修改配置文件 spark-env.sh 在主节点上进入spark安装

旧城等待，/ 2022年07月14日 11:53/ 0 赞/ 176 阅读

相关 Spark 环境搭建

搭建环境：Ubuntu16.04(虚拟机) 分布式集群： 192.168.159.128 vm01 192.168.159.129 vm02 192.168.1

青旅半醒/ 2022年05月29日 08:18/ 0 赞/ 236 阅读

相关 Spark集群环境的搭建

一：Hadoop集群环境的搭建 hadoop集群环境的安装请参考我之前的博客：博客地址：[https://blog.csdn.net/qq\_37469055/artic

￡神魔★判官ぃ/ 2022年03月26日 06:10/ 0 赞/ 238 阅读

相关 Spark详解（二）：Spark完全分布式环境搭建

1. 前言本文搭建了一个由三节点（master、slave1、slave2）构成的Spark完全分布式集群，并通过Spark分布式计算的一个示例测试集群的正确性。本文将

电玩女神/ 2022年03月18日 10:58/ 0 赞/ 525 阅读

相关 Windows系统搭建Hadoop，Spark开发环境

1.准备工具： 1.Hadoop所需要替换的bin目录下的文件 2.Hadoop 3.1 3.spark-2.3.1 4.JDK 1.8 工具下载： [

Love The Way You Lie/ 2022年01月31日 05:09/ 0 赞/ 430 阅读