Spark入门之WordCount

Dear 丶 2022-04-12 10:24 473阅读 0赞

\[img\]http://dl2.iteye.com/upload/attachment/0111/4770/079b7965-40fb-318c-8c35-cd5d6aa03c83.png\[/img\]  
  
  
\[size=large\]环境:  
Hadoop版本：Apache Hadoop2.7.1  
Spark版本：Apache Spark1.4.1  
核心代码：\[/size\]  
  
\[img\]http://dl2.iteye.com/upload/attachment/0111/4764/f7a61aa5-98e8-3ff6-872a-f30d591c46ee.png\[/img\]  
\[size=large\]测试数据：\[/size\]

a,b,a
    c,d,f
    a,b,h,p,z
    a,f,o

\[size=large\]在命令行使用sbt打包：sbt clean package  
上传jar至Hadoop或者Spark的集群上，如何提交？\[/size\]

三种模式提交:
    （1）需要启动HDFS+YRAN，无须启动spark的standalone集群
    bin/spark-submit  --class com.spark.helloword.WordCount   --master yarn-client  ./spark-hello_2.11-1.0.jar
    
    （2）启动spark的standalone集群，并启动的Hadoop的HDFS分布式存储系统即可
    bin/spark-submit  --class  com.spark.helloword.WordCount  --master spark://h1:7077 ./spark-hello_2.11-1.0.jar 
    
    （3）//需要启动HDFS+YRAN，无须启动spark的standalone集群
    //--name 指定作业名字
    bin/spark-submit  --class com.spark.helloword.WordCount   --master yarn-cluster  --name test-spark-wordcount   ./spark-hello_2.11-1.0.jar

\[size=large\]执行结果：\[/size\]

(a,4)
    (b,2)
    (f,2)
    (d,1)
    (z,1)
    (p,1)
    (h,1)
    (o,1)
    (c,1)

\[size=large\]运行模式截图：\[/size\]  
  
\[img\]http://dl2.iteye.com/upload/attachment/0111/4766/5ff381a7-0f72-3fa4-bbc6-fddfd2bbe2c7.jpg\[/img\]  
  
  
\[img\]http://dl2.iteye.com/upload/attachment/0111/4768/4f6c4317-fb0a-3bf1-b315-8993c084a4a4.jpg\[/img\]  
  
  
\[b\]\[color=green\]\[size=large\]  
最后欢迎大家扫码关注微信公众号：我是攻城师(woshigcs)，我们一起学习，进步和交流!（woshigcs）  
本公众号的内容是有关搜索和大数据技术和互联网等方面内容的分享，也是一个温馨的技术互动交流的小家园，有什么问题随时都可以留言，欢迎大家来访！  
\[/size\]\[/color\]\[/b\]  
\[img\]http://dl2.iteye.com/upload/attachment/0104/9948/3214000f-5633-3c17-a3d7-83ebda9aebff.jpg\[/img\]