CentOS7 从零搭建Spark 2.0 单机环境

小咪咪 2022-09-26 02:09 198阅读 0赞

*  序言
 *  配置网络环境
 *  更新安装基础软件
 *  安装Spark 20
 *  单机模式下运行
    
     *

# 序言 #

预先以Minimal方式在VMVare虚拟机内安装 CentOS7。

# 配置网络环境 #

1.  获得网络配置信息。VMWare: 编辑->虚拟网络编辑器->VMnet信息->NAT 设置。 记下 子网IP, 子网掩码，网管IP信息。  
    ![Virtual Network in VMVare][]
2.  编辑CentOS网络配置文件。  
    `vm /etc/sysconfig/network-scripts/ifcfg-eno16777736`  
    ![centos ifcfg file][]
3.  移除rule 文件  
    `shell rm /etc/udev/rules.d/70-persistent-net.rules`
4.  修改主机名  
    `hostname hangzhi vi /etc/hostname #替换localhost.localdomian 为hangzhi vi /etc/hosts #替换localhost.localdomian 为hangzhi`
5.  重启虚拟机  
    `reboot`

# 更新/安装基础软件 #

1.  更新yum.
    
        yum upgrade
2.  Install tools
    
        yum install weget

# 安装Spark 2.0 #

1.  安装配置OpenSDK
    
     *  安装Java
        
            sudo yum install java-1.8.0-openjdk-devel.x86_64
     *  配置环境变量
    
        vim /etc/profile
        
        #在文件末尾位置加入以下代码
        
        export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.101-3.b13.el7_2.x86_64 #路径可能因jdk版本不同而有所差异
        export JRE_HOME=$JAVA_HOME/jre
        export PATH=$PATH:$JAVA_HOME/bin#注意冒号
        export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    
     *  载入环境变量配置
    
        source /etc/profile
2.  安装配置scala
    
     *  下载并解压scala 2.11.8
        
            http://www.scala-lang.org/files/archive/scala-2.11.8.tgz
            
            tar -zxf scala-2.11.8.tgz
            
            mv scala-2.11.8 /usr/lib
     *  配置环境变量
    
        vim /etc/profile
        
        # 在文件末尾位置加入以下代码
        
        export SCALA_HOME=/usr/lib/scala-2.11.8
        export PATH=$PATH:$SCALA_HOME/bin
    
     *  载入环境变量配置
    
        source /etc/profile
3.  下载并配置 spark 2.0
    
     *  下载Spark 2.0
    
        cd ~
        wget  http://d3kbcqa49mib13.cloudfront.net/spark-2.0.0-bin-hadoop2.7.tgz
        
        tar -zxf spark-2.0.0-bin-hadoop2.7.tgz
    
     *  配置环境变量
    
        vim /etc/profile
            # 在文件末尾位置加入以下代码
            export SPARK_HOME=$HOME/spark-2.0.0-bin-hadoop2.7
    
    # 单机模式下运行 #
    
        cd $SPARK_HOME
         ./bin/run-example SparkPi

## ![单机测试][20160915230744083] ##

引用：  
[http://www.scala-lang.org/][http_www.scala-lang.org]  
[http://spark.apache.org/][http_spark.apache.org]  
[http://www.tuicool.com/articles/Vza63m][http_www.tuicool.com_articles_Vza63m]  
[http://shiyanjun.cn/archives/696.html][http_shiyanjun.cn_archives_696.html]

[Virtual Network in VMVare]: /images/20220717/cca0c4d731d84a27845bd9cf7bf4d9e9.png
[centos ifcfg file]: /images/20220717/3dcb123c72be4353b4030a3d7c984070.png
[20160915230744083]: /images/20220717/7f1e01ea84a245d48cc637cb9a02f7a7.png
[http_www.scala-lang.org]: http://www.scala-lang.org/
[http_spark.apache.org]: http://spark.apache.org/
[http_www.tuicool.com_articles_Vza63m]: http://www.tuicool.com/articles/Vza63m
[http_shiyanjun.cn_archives_696.html]: http://shiyanjun.cn/archives/696.html