Centos7下Spark下载与安装

短命女 2022-11-26 15:54 197阅读 0赞

### 目录 ###

*   *  Centos7下Spark安装
     *  第一步：软件下载或编译
     *  第二步：安装软件
     *   *  （1）上传文件
         *  （2）解压文件
     *  第三步：Spark的本地模式运行测试
     *  第四步：Spark服务WEB监控页面
     *  第五步：Spark核心概念简介

## Centos7下Spark安装 ##

*  电脑系统：macOS 10.15.4
 *  虚拟机软件：Parallels Desktop14
 *  操作系统：CentOS 7
 *  JDK版本：jdk1.8.0\_162
 *  Hadoop版本：hadoop-2.6.0-cdh5.9.3
 *  Scala版本：scala-2.11.12
 *  Spark版本：spark-2.4.6-bin-hadoop2.6

## 第一步：软件下载或编译 ##

首先第一步先找到spark的下载地址：

*  [http://spark.apache.org/downloads.html][http_spark.apache.org_downloads.html]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 1]  
解释：这里我选择的是spark的2.4.6的版本，原因是我的Hadoop安装的是2.6的版本，这里也可以自己的配置去选择。如果是选择2.4.6版本的话，则官网是给我们提供编译好的版本就不需要我们自己再编译。如上图所示，spark2.4.6均提供好Hadoop2.6和2.7的编译版本，但是低于2.6的版本就是需要我们自己下载源码再去编译。同时也要注意Scala的版本。

## 第二步：安装软件 ##

### （1）上传文件 ###

将本机的安装包上传到虚拟机node1，上传方式：

scp 本机的文件绝对路径 caizhengjie@10.211.55.49:/opt/Hadoop

### （2）解压文件 ###

上传成功之后需要对文件赋予权限

chmod u+x spark-2.4.6-bin-hadoop2.6.tgz

解压文件：

tar -zxvf spark-2.4.6-bin-hadoop2.6.tgz

创建软链接：

ln -s spark-2.4.6-bin-hadoop2.6 spark

## 第三步：Spark的本地模式运行测试 ##

进入spark目录下，这是开启spark

[caizhengjie@node1 spark]$ bin/spark-shell

下面我们做一个词频统计：  
在`/opt/datas`目录下，新建一个`stu.txt`文件，内容如下：

java python hadoop
    spring python hadoop java c c++
    hbase spark scala
    scala python java
    linux unix java php
    mysql hive hue

scala> val rdd = spark.read.textFile("/opt/datas/stu.txt")

rdd: org.apache.spark.sql.Dataset[String] = [value: string]

统计行数

scala> rdd.count()

res2: Long = 6

以数组的方式返回文件中所有的单词

scala> val lines = rdd.flatMap(x => x.split(" ")).collect

lines: Array[String] = Array(java, python, hadoop, spring, python, hadoop, java, c, c++, hbase, spark, scala, scala, python, java, linux, unix, java, php, mysql, hive, hue)

给数组中的每个数据生成元祖对

scala> val lines = rdd.flatMap(x => x.split(" ")).map(x => (x,1)).collect

lines: Array[(String, Int)] = Array((java,1), (python,1), (hadoop,1), (spring,1), (python,1), (hadoop,1), (java,1), (c,1), (c++,1), (hbase,1), (spark,1), (scala,1), (scala,1), (python,1), (java,1), (linux,1), (unix,1), (java,1), (php,1), (mysql,1), (hive,1), (hue,1))

给数据分组统计

scala> val lines = rdd.flatMap(x => x.split(" ")).map(x => (x,1)).rdd.reduceByKey((a,b) => (a+b)).collect

lines: Array[(String, Int)] = Array((hbase,1), (scala,2), (spark,1), (hive,1), (hadoop,2), (php,1), (c++,1), (python,3), (mysql,1), (linux,1), (java,4), (hue,1), (spring,1), (c,1), (unix,1))

给数据分组统计并排序

scala> val lines = rdd.flatMap(x => x.split(" ")).map(x => (x,1)).rdd.reduceByKey((a,b) => (a+b)).map(x => (x._2,x._1)).sortByKey().collect

lines: Array[(Int, String)] = Array((1,hbase), (1,spark), (1,hive), (1,php), (1,c++), (1,mysql), (1,linux), (1,hue), (1,spring), (1,c), (1,unix), (2,scala), (2,hadoop), (3,python), (4,java))

## 第四步：Spark服务WEB监控页面 ##

## 第五步：Spark核心概念简介 ##

现在你已经用shell运行了你的第一段Spark程序，是时候对Spark编程作更细致的了解了。

从上层来看，每个 Spark 应用都由一个 驱动器程序 （driver program）来发起集群上的各种 并行操作。驱动器程序包含应用的 main 函数，并且定义了集群上的分布式数据集，还对这 些分布式数据集应用了相关操作。在前面的例子里，实际的驱动器程序就是 Spark shell 本 身，你只需要输入想要运行的操作就可以了。

驱动器程序通过一个 SparkContext 对象来访问 Spark。 这个对象代表对计算集群的一个连接。 shell 启动时已经自动创建了一个 SparkContext 对象，是一个叫作 sc 的变量。一旦有了 SparkContext， 你就可以用它来创建 RDD。我们可以在这些行上进行各种操 作，比如 count() 。

要执行这些操作，驱动器程序一般要管理多个 执行器 （executor）节点。比如，如果我们在 集群上运行 count() 操作，那么不同的节点会统计文件的不同部分的行数。由于我们刚才是 在本地模式下运行 Spark shell， 因此所有的工作会在单个节点上执行，但你可以将这个 shell 连接到集群上来进行并行的数据分析。下图展示了 Spark 如何在一个集群上运行。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 5]

--------------------

以上内容仅供参考学习，如有侵权请联系我删除！  
如果这篇文章对您有帮助，左下角的大拇指就是对博主最大的鼓励。  
您的鼓励就是博主最大的动力！

[http_spark.apache.org_downloads.html]: http://spark.apache.org/downloads.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center]: /images/20221124/fbc4441e9bab4338bf0ff9ae654cf744.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221124/56a2bc0e123544e38a0fd1b359d51025.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221124/15942ae790064217b76da0c351d4a333.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221124/340d881da5fd4977bfc606777d7eb392.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221124/9bb905ad878b4e5fa296a889e5b6b380.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221124/b86044c130d341e587c34af6bd595fb4.png