Spark2.x之SQL/join关联报CROSS JOIN错误

不念不忘少年蓝@ 2023-02-19 01:28 63阅读 0赞

## 一.算子join ##

在Spark中，两个dataframe关联分为使用算子join关联和使用视图SQL关联两种。在使用join算子关联时，一般的关联语句是这样的：

words_df.join(words_df, words_df("word") === words_df("word")).show()
    words_df.join(words_df, words_df("word") === words_df("word"), joinType = "left").show()

效果：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3NjAwNzIz_size_16_color_FFFFFF_t_70]  
当没有明确的关联字段或想要的效果是笛卡尔积时，就会出现问题：

words_df.join(words_df).show()

异常信息：

Exception in thread "main" org.apache.spark.sql.AnalysisException: Detected implicit cartesian product for INNER join between logical plans
    LogicalRDD [word#2, numbers#3L], false
    and
    LogicalRDD [word#82, numbers#83L], false
    Join condition is missing or trivial.
    Either: use the CROSS JOIN syntax to allow cartesian products between these
    relations, or: enable implicit cartesian products by setting the configuration
    variable spark.sql.crossJoin.enabled=true;

## 二.SQL语句 ##

使用SQL语句时也存在类似的情况：

words_df.createOrReplaceTempView("words_df") //视图 spark 2.x 常用方式
    words_df.createOrReplaceTempView("words_df_2") //视图 spark 2.x 常用方式
    spark.sql("select a.*,b.* from words_df a,words_df_2 b").show(false)

异常信息：

## 三.原因分析及解决方案 ##

有以上报错信息可知，两种使用方式报错信息是一样的，都是说在两个dataframe上使用类似笛卡尔积的CROSS JOIN时，必须添加对其的支持，需要配置一下参数：`spark.sql.crossJoin.enabled=true`  
代码如下：

val spark = SparkSession
          .builder
          .appName(s"${this.getClass.getSimpleName}")
          .config("spark.sql.crossJoin.enabled", "true")
          .master("local[2]")
          .getOrCreate()

效果：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3NjAwNzIz_size_16_color_FFFFFF_t_70 1]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3NjAwNzIz_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200618202152752.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3NjAwNzIz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3NjAwNzIz_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200618203627485.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3NjAwNzIz,size_16,color_FFFFFF,t_70