ubuntu上安装spark详细步骤

野性酷女 2022-10-19 04:14 583阅读 0赞

**目录**

1、打开清华大学下载站  https://mirrors.tuna.tsinghua.edu.cn/ ，找到 apache点击

2、在新页面中，ctrl + f 输入 spark，点击

3、选择要下载的版本，我选的最新版本

4、选择对应的hadoop版本

5、点击下载，下载完毕移动到一个目录 如 /etc/soft/

6、解压，如果提示没权限，加sudo

7、配置环境变量

8、生效配置

9、在任意目录输入

10、简单测试，输出文件行数

--------------------

## 1、打开清华大学下载站  https://mirrors.tuna.tsinghua.edu.cn/ ，找到 apache点击 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbjg4ODg4ODg4ODg4ODg4ODg4_size_16_color_FFFFFF_t_70][]

## 2、在新页面中，ctrl + f 输入 spark，点击 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbjg4ODg4ODg4ODg4ODg4ODg4_size_16_color_FFFFFF_t_70 1][]

## 3、选择要下载的版本，我选的最新版本 ##

## ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbjg4ODg4ODg4ODg4ODg4ODg4_size_16_color_FFFFFF_t_70 2][] ##

## 4、选择对应的hadoop版本 ##

## ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbjg4ODg4ODg4ODg4ODg4ODg4_size_16_color_FFFFFF_t_70 3][] ##

## 5、点击下载，下载完毕移动到一个目录 如 /etc/soft/ ##

> mv  [spark-3.1.2-bin-hadoop2.7.tgz][] /etc/soft/

## 6、解压，如果提示没权限，加sudo ##

> sudo tar -zxvf [spark-3.1.2-bin-hadoop2.7.tgz][]

## 7、配置环境变量 ##

> sudo vi /etc/profile

加 以下两行

> export SPARK\_HOME=/etc/soft/s[park-3.1.2-bin-hadoop2.7][spark-3.1.2-bin-hadoop2.7.tgz]  
> export PATH=$PATH:$SPARK\_HOME/bin:$SPARK\_HOME/bin

## 8、生效配置 ##

> source /etc/profile

##  9、在任意目录输入 ##

> spark-shell

## 10、简单测试，输出文件行数 ##

>  var sc = spark.read.textFile("文件绝对路径").count;

输出

> sc: Long=57

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbjg4ODg4ODg4ODg4ODg4ODg4_size_16_color_FFFFFF_t_70]: /images/20221005/bb59e8fab9cf45a28a448fe3107f78fa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbjg4ODg4ODg4ODg4ODg4ODg4_size_16_color_FFFFFF_t_70 1]: /images/20221005/e6d9b1d3431d4c92ab162490369f8ffa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbjg4ODg4ODg4ODg4ODg4ODg4_size_16_color_FFFFFF_t_70 2]: /images/20221005/364c00f0c21e4216ace7e0d9f4e02abc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbjg4ODg4ODg4ODg4ODg4ODg4_size_16_color_FFFFFF_t_70 3]: /images/20221005/3e9eed4b171c42978cd783645986f4a5.png
[spark-3.1.2-bin-hadoop2.7.tgz]: https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.1.2/spark-3.1.2-bin-hadoop2.7.tgz