Spark SQL+Hive历险记

拼搏现实的明天。 2022-08-19 14:27 187阅读 0赞

基础依赖环境  
Apache Hadoop2.7.1  
Apache Spark1.6.0  
Apache Hive1.2.1  
Apache Hbase0.98.12  
  
（1）提前安装好scala的版本，我这里是2.11.7  
  
（2）下载spark-1.6.0源码，解压进入根目录编译  
  
（3）dev/change-scala-version.sh 2.11  
修改pom文件，修改对应的hadoop，hbase，hive的版本  
  
执行编译支持hive功能的spark  
（4）mvn -Pyarn -Phive -Phive-thriftserver -Phadoop-2.7.1 -Dscala-2.11 -DskipTests clean package  
三种测试方式：

Java代码 ![收藏代码][icon_star.png]

1.  bin/spark-submit --**class** org.apache.spark.examples.SparkPi --master spark://h1:7077 examples/target/spark-examples\_2.11-1.6.0.jar 100
2.  
3.  bin/spark-submit --**class** org.apache.spark.examples.SparkPi --master yarn-cluster examples/target/spark-examples\_2.11\-1.6.0.jar 10
4.  
5.  bin/spark-submit --**class** org.apache.spark.examples.SparkPi --master yarn-client examples/target/spark-examples\_2.11\-1.6.0.jar 10

（一）：命令行Spark SQL接口调试  
编译成功后，将提前安装好的hive/conf/hive-site.xml拷贝到spark的conf/目录下，  
执行，spark-sql的启动命令，同时使用--jars 标签把mysql驱动包，hadoop支持的压缩包，以及通过hive读取hbase相关的jar包加入进来，启动

Java代码 ![收藏代码][icon_star.png]

1.  bin/spark-sql --jars 
2.   lib/mysql-connector-java-5.1.31.jar, 
3.  lib/hadoop-lzo-0.4.20\-SNAPSHOT.jar, 
4.  /ROOT/server/hive/lib/hive-hbase-handler-1.2.1.jar, 
5.  /ROOT/server/hbase/lib/hbase-client-0.98.12\-hadoop2.jar, 
6.  /ROOT/server/hbase/lib/hbase-common-0.98.12\-hadoop2.jar, 
7.  /ROOT/server/hbase/lib/hbase-server-0.98.12\-hadoop2.jar, 
8.  /ROOT/server/hbase/lib/hbase-hadoop2-compat-0.98.12\-hadoop2.jar, 
9.  /ROOT/server/hbase/lib/guava-12.0.1.jar, 
10. /ROOT/server/hbase/lib/hbase-protocol-0.98.12\-hadoop2.jar, 
11. /ROOT/server/hbase/lib/htrace-core-2.04.jar

（二）：Intellj IDEA15.0里面代码调试:  
sbt的依赖：

Java代码 ![收藏代码][icon_star.png]

1.  //下面不需要使用的依赖，大家可根据情况去舍
2.  name := "scala-spark"
3.  
4.  version := "1.0"
5.  
6.  scalaVersion := "2.11.7"
7.  
8.  //使用公司的私服，去掉此行则使用默认私服
9.  resolvers += "Local Maven Repository" at "http://xxxx:8080/nexus/content/groups/public/"
10. 
11. //使用内部仓储
12. externalResolvers := Resolver.withDefaultResolvers(resolvers.value, mavenCentral = **false**) 
13. 
14. //Hadoop的依赖
15. libraryDependencies += "org.apache.hadoop" % "hadoop-client" % "2.7.1" //% "provided"
16. 
17. //Habse的依赖
18. libraryDependencies += "org.apache.hbase" % "hbase-client" % "0.98.12-hadoop2" // % "provided"
19. 
20. libraryDependencies += "org.apache.hbase" % "hbase-common" % "0.98.12-hadoop2" //% "provided"
21. 
22. libraryDependencies += "org.apache.hbase" % "hbase-server" % "0.98.12-hadoop2" //% "provided"
23. 
24. //Spark的依赖
25. libraryDependencies += "org.apache.spark" % "spark-core\_2.11" % "1.6.0" //% "provided"
26. 
27. //Spark SQL 依赖
28. libraryDependencies += "org.apache.spark" % "spark-sql\_2.11" % "1.6.0" //% "provided"
29. 
30. //Spark For Hive 依赖
31. libraryDependencies += "org.apache.spark" % "spark-hive\_2.11" % "1.6.0"
32. 
33. //java servlet 依赖
34. libraryDependencies += "javax.servlet" % "javax.servlet-api" % "3.0.1" //% "provided"

scala主体代码

Java代码 ![收藏代码][icon_star.png]

1.  def main(args: Array\[String\]) \{ 
2.  //设置用户名
3.   System.setProperty("user.name", "username"); 
4.   System.setProperty("HADOOP\_USER\_NAME", "username"); 
5.  //此处不需要设置master，方便到集群上，能测试yarn-client , yarn-cluster，spark 各种模式
6.   val sc=**new** SparkConf().setAppName("spark sql hive"); 
7.   val sct=**new** SparkContext(sc); 
8.  //得到hive上下文
9.   val hive = **new** org.apache.spark.sql.hive.HiveContext(sct); 
10. //执行sql，并打印输入信息
11.  hive.sql("show tables ").collect().foreach(println); 
12. //关闭资源
13.  sct.stop(); 
14. \}

写好代码，在win上运行，有bug，/tmp/hive没有执行权限https://issues.apache.org/jira/browse/SPARK-10528  
所以建议还是拿到linux上执行，而且win上只能调standalone模式，不能调yarn-cluster和yarn-client模式。  
  
记住一个血的bug，在代码里的SparkConf()一定不要setMaster("")的值，否则你粗心了，在集群上执行各种模式时候会  
出现莫名其妙的bug  
//写代码方式，查询

Java代码 ![收藏代码][icon_star.png]

1.  //yarn集群模式
2.  bin/spark-submit 
3.   \--**class** com.tools.hive.SparkHive 
4.   \--master yarn-cluster --files conf/hive-site.xml 
5.   \--jars lib/datanucleus-api-jdo-3.2.6.jar, 
6.  lib/datanucleus-rdbms-3.2.9.jar, 
7.  lib/datanucleus-core-3.2.10.jar, 
8.  lib/mysql-connector-java-5.1.31.jar 
9.  scala-spark\_2.11\-1.0.jar //这是主体的jar，不用跟--jars放在一起，否则会有问题
10. 
11. //yarn客户端模式
12. bin/spark-submit 
13. \--**class** com.tools.hive.SparkHive 
14. \--master yarn-client 
15. \--files conf/hive-site.xml 
16. \--jars lib/datanucleus-api-jdo-3.2.6.jar, 
17. lib/datanucleus-rdbms-3.2.9.jar, 
18. lib/datanucleus-core-3.2.10.jar, 
19. lib/mysql-connector-java-5.1.31.jar 
20.  scala-spark\_2.11\-1.0.jar //这是主体的jar，不用跟--jars放在一起，否则会有问题
21. 
22. //spark alone模式
23. bin/spark-submit 
24. \--**class** com.tools.hive.SparkHive 
25.  \--master spark://h1:7077
26.  \--files conf/hive-site.xml 
27.  \--jars lib/datanucleus-api-jdo-3.2.6.jar, 
28. lib/datanucleus-rdbms-3.2.9.jar, 
29. lib/datanucleus-core-3.2.10.jar, 
30. lib/mysql-connector-java-5.1.31.jar 
31.  scala-spark\_2.11\-1.0.jar //这是主体的jar，不用跟--jars放在一起，否则会有问题

以Spark SQL 方式查询，不一定非得让你写代码，这就是sql的魅力，spark sql也能使用sql通过hive的元数据，查询hdfs数据或者hbase表等  
  
//yarn-cluster集群模式不支持spark sql  
Error: Cluster deploy mode is not applicable to Spark SQL shell.

Java代码 ![收藏代码][icon_star.png]

1.  //yarn客户端模式
2.  bin/spark-sql 
3.  \--master yarn-client 
4.  \--files conf/hive-site.xml 
5.  \--jars lib/datanucleus-api-jdo-3.2.6.jar, 
6.  lib/datanucleus-rdbms-3.2.9.jar, 
7.  lib/datanucleus-core-3.2.10.jar, 
8.  lib/mysql-connector-java-5.1.31.jar 
9.   \-e "select name , count(1) as c from info group by name order by c desc ;"
10. 
11. //spark alone模式
12. bin/spark-sql 
13. \--master spark://h1:7077 
14. \--files conf/hive-site.xml 
15.  \--jars lib/datanucleus-api-jdo-3.2.6.jar, 
16. lib/datanucleus-rdbms-3.2.9.jar, 
17. lib/datanucleus-core-3.2.10.jar, 
18. lib/mysql-connector-java-5.1.31.jar 
19.  \-e "select name , count(1) as c from info group by name order by c desc ;"

Spark SQL + Hive + Hbase方式集成

Java代码 ![收藏代码][icon_star.png]

1.  //yarn客户端模式
2.  bin/spark-sql --master yarn-client --files conf/hive-site.xml --jars lib/ 
3.  datanucleus-api-jdo-3.2.6.jar, 
4.  lib/datanucleus-rdbms-3.2.9.jar, 
5.  lib/datanucleus-core-3.2.10.jar, 
6.  lib/mysql-connector-java-5.1.31.jar, 
7.  lib/hadoop-lzo-0.4.20\-SNAPSHOT.jar, 
8.  /ROOT/server/hive/lib/hive-hbase-handler-1.2.1.jar, 
9.  /ROOT/server/hbase/lib/hbase-client-0.98.12\-hadoop2.jar, 
10. /ROOT/server/hbase/lib/hbase-common-0.98.12\-hadoop2.jar, 
11. /ROOT/server/hbase/lib/hbase-server-0.98.12\-hadoop2.jar, 
12. /ROOT/server/hbase/lib/hbase-hadoop2-compat-0.98.12\-hadoop2.jar, 
13. /ROOT/server/hbase/lib/guava-12.0.1.jar, 
14. /ROOT/server/hbase/lib/hbase-protocol-0.98.12\-hadoop2.jar, 
15. /ROOT/server/hbase/lib/htrace-core-2.04.jar 
16. \-e "select \* from dong limit 2 ;"
17. 
18. 
19. 
20. //spark alone模式
21. bin/spark-sql --master spark://h1:7077 --files conf/hive-site.xml --jars lib/
22. datanucleus-api-jdo-3.2.6.jar, 
23. lib/datanucleus-rdbms-3.2.9.jar, 
24. lib/datanucleus-core-3.2.10.jar, 
25. lib/mysql-connector-java-5.1.31.jar, 
26. lib/hadoop-lzo-0.4.20\-SNAPSHOT.jar, 
27. /ROOT/server/hive/lib/hive-hbase-handler-1.2.1.jar, 
28. /ROOT/server/hbase/lib/hbase-client-0.98.12\-hadoop2.jar, 
29. /ROOT/server/hbase/lib/hbase-common-0.98.12\-hadoop2.jar, 
30. /ROOT/server/hbase/lib/hbase-server-0.98.12\-hadoop2.jar, 
31. /ROOT/server/hbase/lib/hbase-hadoop2-compat-0.98.12\-hadoop2.jar, 
32. /ROOT/server/hbase/lib/guava-12.0.1.jar, 
33. /ROOT/server/hbase/lib/hbase-protocol-0.98.12\-hadoop2.jar, 
34. /ROOT/server/hbase/lib/htrace-core-2.04.jar 
35.  \-e "select count(\*) from dong ;"

总结：  
使用某个spark命令提交任务时，如果对参数比较模糊，可以使用  
bin/spark-xxx -h命令查看，参数介绍  
  
另外spark 整合 hive关联hbase的时候或者spark整合hive 的时候，会出现很多问题，最常见的就是 ：  
（1）mysql驱动包找不到  
（2）datanucleus相关的类找不到  
（3）运行成功，而没有结果  
（4）.....  
  
Spark SQL整合Hive时，一定要把相关的jar包和hive-site.xml文件，提交到 集群上，否则会出现各种莫名其妙的小问题，  
经过在网上查资料，大多数的解决办法在Spark的spark-env.sh里面设置类路径，经测试没有生效，所以，还是通过--jars 这个参数来提交依赖的jar包比较靠谱。  
  
  
  
参考链接：  
winuitls.exe下载地址，如果再win上想远程连接spark alone集群提交任务，可能要用到：  
[http://teknosrc.com/spark-error-java-io-ioexception-could-not-locate-executable-null-bin-winutils-exe-hadoop-binaries/][http_teknosrc.com_spark-error-java-io-ioexception-could-not-locate-executable-null-bin-winutils-exe-hadoop-binaries]  
[http://zengzhaozheng.blog.51cto.com/8219051/1597902][http_zengzhaozheng.blog.51cto.com_8219051_1597902]  
   
  
有什么问题 可以扫码关注微信公众号：我是攻城师(woshigcs)，在后台留言咨询。  
本公众号的内容是有关搜索和大数据技术和互联网等方面内容的分享，也是一个温馨的技术互动交流的小家园  
   
![3214000f-5633-3c17-a3d7-83ebda9aebff.jpg][]

[icon_star.png]: /images/20220731/f5a31a6793af40b98a7eb6e47d32a20a.png
[http_teknosrc.com_spark-error-java-io-ioexception-could-not-locate-executable-null-bin-winutils-exe-hadoop-binaries]: http://teknosrc.com/spark-error-java-io-ioexception-could-not-locate-executable-null-bin-winutils-exe-hadoop-binaries/
[http_zengzhaozheng.blog.51cto.com_8219051_1597902]: http://zengzhaozheng.blog.51cto.com/8219051/1597902
[3214000f-5633-3c17-a3d7-83ebda9aebff.jpg]: /images/20220731/96bc8f42eed24d939e645b6588717662.png