3.2.2 spark体系之分布式计算-spark-core之离线计算-Spark-Local模式环境搭建

￡神魔★判官ぃ 2022-12-28 08:14 84阅读 0赞

# 1.概述 #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70][]

# 2.安装并使用 #

想要完成本次操作，需要以下准备：

Linux下jdk的安装（1.8）

Scala环境搭建（2.11.12）

## 2.1 下载并解压 ##

下载 `Spark` 安装包，这里我下载的是**`spark-2.4.5-bin-hadoop2.7.tgz`**。下载地址：http://spark.apache.org/downloads.html

# 解压
    [xiaokang@hadoop ~]$ tar -zxvf spark-2.4.5-bin-hadoop2.7.tgz -C /opt/software/
    # 重命名（可选）
    [xiaokang@hadoop ~]$ mv /opt/software/spark-2.4.5-bin-hadoop2.7/ /opt/software/spark-2.4.5

## 2.2 配置环境变量 ##

[xiaokang@hadoop ~]$ sudo vim /etc/profile.d/env.sh

在原来基础上更新配置环境变量：

export SPARK_HOME=/opt/software/spark-2.4.5
    export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${ZOOKEEPER_HOME}/bin:${HIVE_HOME}/bin:${ZEPPELIN_HOME}/bin:${HBASE_HOME}/bin:${SQOOP_HOME}/bin:${FLUME_HOME}/bin:${PYTHON_HOME}/bin:${SCALA_HOME}/bin:${MAVEN_HOME}/bin:${GRADLE_HOME}/bin:${KAFKA_HOME}/bin:${SPARK_HOME}/bin:$PATH

执行 `source` 命令，使得配置的环境变量立即生效：

[xiaokang@hadoop ~]$ source /etc/profile.d/env.sh

## 2.3 修改配置 ##

进入 `${SPARK_HOME}/conf/` 目录下，复制一份`spark-env.sh.template`文件进行更改

[xiaokang@hadoop conf]$ cp spark-env.sh.template spark-env.sh

export JAVA_HOME=/opt/moudle/jdk1.8.0_191
    export SCALA_HOME=/opt/moudle/scala-2.11.12
    # Options read when launching programs locally with
    # ./bin/run-example or ./bin/spark-submit
    # - HADOOP_CONF_DIR, to point Spark towards Hadoop configuration files
    SPARK_LOCAL_IP=hadoop
    # - SPARK_PUBLIC_DNS, to set the public dns name of the driver program

## 2.4 启动测试 ##

[xiaokang@hadoop ~]$ spark-shell

![图片][3512237ee4dcf025787488263414a16f.png]

## 2.5 官方求PI案例 ##

[atguigu@hadoop102 spark]$ bin/spark-submit \
    
    --class org.apache.spark.examples.SparkPi \
    
    --executor-memory 1G \
    
    --total-executor-cores 2 \
    
    ./examples/jars/spark-examples_2.11-2.1.1.jar \
    
    100

**（1）基本语法**

bin/spark-submit \\

\--class <main-class>

\--master <master-url> \\

\--deploy-mode <deploy-mode> \\

\--conf <key>=<value> \\

... \# other options

<application-jar> \\

\[application-arguments\]

**（2）参数说明：**

\--master 指定Master的地址，默认为Local

\--class: 你的应用的启动类 (如 org.apache.spark.examples.SparkPi)

\--deploy-mode: 是否发布你的驱动到worker节点(cluster) 或者作为一个本地客户端 (client) (default: client)\*

\--conf: 任意的Spark配置属性， 格式key=value. 如果值包含空格，可以加引号“key=value”

application-jar: 打包好的应用jar,包含依赖. 这个URL在集群中全局可见。 比如hdfs:// 共享存储系统， 如果是 file:// path， 那么所有的节点的path都包含同样的jar

application-arguments: 传给main()方法的参数

\--executor-memory 1G 指定每个executor可用内存为1G

\--total-executor-cores 2 指定每个executor使用的cup核数为2个

**3）结果展示**

该算法是利用蒙特·卡罗算法求PI

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 1][]

## 2.6 wordCount实例 ##

准备一个需要统计词频的小文件，部分词频数据：

xiaokang    Hive    Hadoop  Flink   微信公众号：小康新鲜事儿    MapReduce   Spark
    HBase    Spark   微信公众号：小康新鲜事儿
    HBase    Spark   微信公众号：小康新鲜事儿    Hadoop  MapReduce   Hive
    xiaokang    MapReduce   HBase   Flink   Spark   Hadoop
    Flink    Hadoop  Spark   xiaokang
    xiaokang    MapReduce   Hive    HBase   Spark
    微信公众号：小康新鲜事儿    HBase   MapReduce   Hive    Spark   xiaokang

Spark之WordCount案例实操：

scala> val result=sc.textFile("file:///home/xiaokang/wordcount-xiaokang.txt").flatMap(_.split("\t")).map((_,1)).reduceByKey(_ + _).collect
    
    result: Array[(String, Int)] = Array((Flink,617), (Spark,614), (MapReduce,631), (Hive,636), (xiaokang,647), (HBase,642), (微信公众号：小康新鲜事儿,647), (Hadoop,644))

查看 Spark Web UI 界面，端口为**`4040`**：

![图片][076176b31a8030672f44bbb14323b39f.png]

**spark通用运行简易流程**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 2][]

**数据流分析：**

*  textFile("input")：读取本地文件input文件夹数据；
 *  flatMap(\_.split(" "))：压平操作，按照空格分割符将一行数据映射成一个个单词；
 *  map((\_,1))：对每一个元素操作，将单词映射为元组；
 *  reduceByKey(\_+\_)：按照key将值进行聚合，相加；
 *  collect：将数据收集到Driver端展示。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 3][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 4][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70]: /images/20221120/204911acb7cb4404a78f8b7eecc7b168.png
[3512237ee4dcf025787488263414a16f.png]: /images/20221120/edec2b32fd4e455bbe86ff78c1e244a4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 1]: /images/20221120/323905840c914ab981f57a8b2df6cac1.png
[076176b31a8030672f44bbb14323b39f.png]: /images/20221120/ac945e61b6604d9dbec95c7804e6c317.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 2]: /images/20221120/0e2d3a7d99264aca92b523405a65f9de.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 3]: /images/20221120/a5a9473a683e4af0a1de0a45afa1e6cc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 4]: /images/20221120/0b6afd3d76564654ab721e57a9c99544.png