编译spark2.1.0

傷城~ 2022-05-15 12:50 136阅读 0赞

# 编译spark2.1.0 #

### 目标 ###

*  得到spark-2.1.0-bin-2.6.0-cdh5.7.0

### 环境 ###

*  jdk
    
     *  1.8.0\_65【1.7+】
 *  maven
    
     *  Apache Maven 3.3.9【3.3.9版】
 *  spark
    
     *  2.1.0
     *  下载地址【[http://spark.apache.org/downloads.html][http_spark.apache.org_downloads.html]】
     *  选项选择
        
         *  ![Z6cPBwg.png][]

### settings.xml文件 ###

。。。
    <mirrors>
        <mirror>
                <id>nexus</id>
                <mirrorOf>*,!cloudera</mirrorOf>
                <url>http://repo1.maven.org/maven2/</url>
        </mirror>
    </mirrors>
    。。。

### pom.xml文件 ###

。。。
    <repository>
        <id>cloudera</id>
        <name>cloudera repository</name>
        <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
    </repository> 
    。。。

### 环境变量/etc/profile中添加【编译机器内存可能不够】 ###

export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"

### 执行 ###

1.  解压spark-2.1.0
    
     *  tar -vxf spark-2.1.0.tgz
2.  执行脚本change-scala-version.sh 2.10【Scala版本是2.10 需要先执行如下的脚本】
    
     *  sh spark-2.1.0/dev/change-scala-version.sh 2.10
3.  执行编译命令
    
     *  sh spark-2.1.0/dev/make-distribution.sh --name 2.6.0-cdh5.7.0 --tgz -Pyarn -Phadoop-2.6 -Phive -Phive-thriftserver -Dhadoop.version=2.6.0-cdh5.7.0
4.  等待编译完成【过程比较漫长】

### 编译过程可能非常长，遇到最后一个错误 ###

*  错误提示
    
     *  ![u2BDEL5.png][]
 *  解决方案
    
     *  在spark下的pom.xml文件中添加依赖
        
         
        
            <dependency>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>3.2.2</version>
            </dependency>

[http_spark.apache.org_downloads.html]: http://spark.apache.org/downloads.html
[Z6cPBwg.png]: https://i.imgur.com/Z6cPBwg.png
[u2BDEL5.png]: https://i.imgur.com/u2BDEL5.png