解决升级Spark2.0之后，DataFrame map操作报错

绝地灬酷狼 2022-12-13 12:39 138阅读 0赞

当我们在使用spark1.6的时候，当我们创建SQLContext读取一个文件之后,返回DataFrame类型的变量可以直接.map操作，不会报错。但是升级之后会包一个错误，如下：

报错：No implicits found for parameter evidence$6: Encoder\[Unit\]

![d24b5c0c159fb5528803a885249369fa.png][]

主要的错误原因为：

******error: Unable to find encoder for type stored in a Dataset. Primitive types (Int, String, etc) and Product types (case classes) are supported by importing spark.implicits._ Support for serializing other types will be added in future releases. resDf_upd.map(row => {******

此时有三种解决方案：

第一种：

![664e685f234253ebb57f566cda7cb970.png][]

然后大家发现不会在报错误了。

第二种：

![457ba8a635a5199f8881570882978815.png][]

这样也可以

第三种：

这种是最麻烦的一种，可以参考官网

![802714a76ffc52007aedccfebfaea737.png][]

官网上给的是让自定义一个 Encoders，然后下面是我根据官网的例子，写的样例：

![b8882ea5055fd4219d857514f476813a.png][]

可以看到，也是可以用的，但是相比较上面两个是非常的麻烦的，所以推荐第一种和第二种，强推第一种，简单。

说明：

以上代码中我用的是SparkSession创建的，当然也可以用SQLContext来创建，但是SQLContext已经过时，不再推荐。

若是在用SQLContext时，遇到以上错误，同理解决。

[d24b5c0c159fb5528803a885249369fa.png]: /images/20221123/ee8b8dc74a1e4e5daa7a9acb46d82bc7.png
[664e685f234253ebb57f566cda7cb970.png]: /images/20221123/5fad1225e6e246d9a9ecd68185c8d656.png
[457ba8a635a5199f8881570882978815.png]: /images/20221123/1ff93f77a230418f84145524b6c2472d.png
[802714a76ffc52007aedccfebfaea737.png]: /images/20221123/259c7b3736184c29877c23fa42b11b93.png
[b8882ea5055fd4219d857514f476813a.png]: /images/20221123/506c58cdc1e141c8b70edd36e05c45d4.png