Spark：常用transformation 转换操作及action 行动操作

痛定思痛。 2021-09-25 03:32 351阅读 0赞

# 一、常用transformation介绍 #

<table> 
 <thead> 
  <tr> 
   <th>操作</th> 
   <th>介绍</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>map</td> 
   <td>将RDD中的每个元素传入自定义函数，获取一个新的元素，然后用新的元素组成新的RDD</td> 
  </tr> 
  <tr> 
   <td>filter</td> 
   <td>对RDD中每个元素进行判断，如果返回true则保留，返回false则剔除</td> 
  </tr> 
  <tr> 
   <td>flatMap</td> 
   <td>与map类似，但是对每个元素都可以返回一个或多个新元素</td> 
  </tr> 
  <tr> 
   <td>groupByKey</td> 
   <td>根据key进行分组，每个key对应一个Iterable&lt;value&gt;</td> 
  </tr> 
  <tr> 
   <td>reduceByKey</td> 
   <td>对每个Key对应的value进行reduce操作</td> 
  </tr> 
  <tr> 
   <td>sortByKey</td> 
   <td>对每个key对应的value进行排序操作</td> 
  </tr> 
  <tr> 
   <td>join</td> 
   <td>对两个包含&lt;key,value&gt;的RDD进行join操作，每个key join上的pair，都会传入自定义函数进行处理</td> 
  </tr> 
  <tr> 
   <td>cogroup</td> 
   <td>同join，但是每个key对应的Itreable&lt;value&gt;都会传入自定义函数进行处理</td> 
  </tr> 
  <tr> 
   <td>union、intersection、subtract、combineByKey、foldByKey</td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

[Spark练习之Transformation操作开发][Spark_Transformation]

# 二、常用action介绍 #

<table> 
 <thead> 
  <tr> 
   <th>操作</th> 
   <th>介绍</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>reduce</td> 
   <td>将RDD中的所有元素进行聚合操作，第一个和第二个元素聚合，值与第三个元素聚合，值与第四个元素聚合，以此类推</td> 
  </tr> 
  <tr> 
   <td>collect</td> 
   <td>将RDD中所有元素获取到本地客户端</td> 
  </tr> 
  <tr> 
   <td>count</td> 
   <td>获取RDD元素总数</td> 
  </tr> 
  <tr> 
   <td>take(n)</td> 
   <td>获取RDD中前n个元素</td> 
  </tr> 
  <tr> 
   <td>saveAsTextFile</td> 
   <td>将RDD元素保存到文件中，对每个元素调用toString方法</td> 
  </tr> 
  <tr> 
   <td>countByKey</td> 
   <td>对每个key对应的值进行count计数</td> 
  </tr> 
  <tr> 
   <td>foreach</td> 
   <td>遍历RDD中的每个元素</td> 
  </tr> 
  <tr> 
   <td>aggregate、fold、lookup</td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

[Spark练习之action操作开发][Spark_action]

参考 [https://blog.csdn.net/An1090239782/article/details/92830569][https_blog.csdn.net_An1090239782_article_details_92830569]

[Spark_Transformation]: https://mp.csdn.net/mdeditor/92830360#
[Spark_action]: https://blog.csdn.net/An1090239782/article/details/92832243
[https_blog.csdn.net_An1090239782_article_details_92830569]: https://blog.csdn.net/An1090239782/article/details/92830569