FastJSON字段智能匹配踩坑

向右看齐 2023-01-01 09:55 116阅读 0赞

# 背景 #

2021年第一天早上，客户突然投诉说系统的一个功能出了问题，紧急排查后发现后端系统确实出了bug，原因为前端传输的JSON报文，后端反序列化成JavaBean后部分字段的值丢失了。

查看git提交历史记录，前端和后端近期并未对该功能的接口字段做任何修改，联想到上个版本升级了后端的FastJSON的版本，怀疑是后端系统对FastJSON升级导致的问题。

# 复现 #

@Data
    static class Label { 
    	@JSONField(name = "label_id")
    	private Integer labelId;
    	private String labelName;
    }
    
    public static void main(String[] args) { 
    	String value = "{'labelId': 1,'label_name':'name'}";
    	Label label = JSON.parseObject(value, Label.class);
    	System.out.println(label);
    }

## 低版本 ##

<dependency>
    	<groupId>com.alibaba</groupId>
    	<artifactId>fastjson</artifactId>
    	<version>1.2.60</version>
    </dependency>

使用低版本FastJSON，如上使用`1.2.60`版本，示例输出的结果如下，即两个字段JSON解析映射成功。虽然JavaBean中的字段和JSON中的key并不完全匹配（大小写不匹配以及下划线匹配），但得益于FastJSON的智能匹配，忽略了大小写和下划线，依然将JSON映射成功。

Label(labelId=1, labelName=name)

## 高版本 ##

<dependency>
    	<groupId>com.alibaba</groupId>
    	<artifactId>fastjson</artifactId>
    	<version>1.2.71</version>
    </dependency>

使用高版本FastJSON，如上使用`1.2.71`，示例输出结果如下，字段`labelId`映射失败，即高版本FastJSON对智能匹配规则做了修改，并且未向前兼容而导致了部分字段映射失败导致了这次的bug。

Label(labelId=null, labelName=name)

# 原理 #

解析高版本FastJSON字段智能匹配失败的原因，首先要先了解智能匹配的规则。

## 低版本 ##

低版本的智能匹配规则的关键代码如下，翻译成人话就是：

1.  如果JavaBean字段有`@JSONField`注解且name不空时，则对name的值忽略字母大小写和`-`,`_`两个字符
2.  否则取JavaBean的字段名，忽略字母大小写和`-`,`_`两个字符
3.  JSON中的key忽略`is`开头并忽略剩余字母大小写和`-`,`_`两个字符

// 对JSON中没有成功映射JavaBean的key做智能匹配
    // 1. 忽略key的字母大小写和'-','_'两个字符
    long smartKeyHash = TypeUtils.fnv1a_64_lower(key);
    if (this.smartMatchHashArray == null) { 
        long[] hashArray = new long[sortedFieldDeserializers.length];
        for (int i = 0; i < sortedFieldDeserializers.length; i++) { 
            // fieldInfo.name优先取@JSONField的name字段,其次取JavaBean字段名
            // fieldInfo.name忽略字母大小写和'-','_'两个字符尝试与JSON中的key做智能匹配
            hashArray[i] = TypeUtils.fnv1a_64_lower(sortedFieldDeserializers[i].fieldInfo.name);
        }
        Arrays.sort(hashArray);
        this.smartMatchHashArray = hashArray;
    }
    
    int pos = Arrays.binarySearch(smartMatchHashArray, smartKeyHash);
    // 2. 如果key以'is'开头,则忽略'is'开头并忽略剩余字母大小写和'-','_'两个字符
    boolean is = false;
    if (pos < 0 && (is = key.startsWith("is"))) { 
        smartKeyHash = TypeUtils.fnv1a_64_lower(key.substring(2));
        pos = Arrays.binarySearch(smartMatchHashArray, smartKeyHash);
    }

![在这里插入图片描述][20210102143203379.png]

## 高版本 ##

高版本的智能匹配规则的关键代码如下，翻译成人话就是：

1.  如果JavaBean字段有`@JSONField`注解且name不空时，则取name的值
2.  否则取JavaBean的字段名，忽略字母大小写和`-`,`_`两个字符
3.  JSON中的key忽略`is`开头并忽略剩余字母大小写和`-`,`_`两个字符

if (this.smartMatchHashArray == null) { 
        long[] hashArray = new long[sortedFieldDeserializers.length];
        for (int i = 0; i < sortedFieldDeserializers.length; i++) { 
            // 1. @JSONField的name不空时取该值直接与JSON中的key做匹配
            // 2. 取JavaBean字段名忽略字母大小写和'-','_'两个字符尝试与JSON中的key做智能匹配
            hashArray[i] = sortedFieldDeserializers[i].fieldInfo.nameHashCode;
        }
        Arrays.sort(hashArray);
        this.smartMatchHashArray = hashArray;
    }
    
    // 对JSON中没有成功映射JavaBean的key做智能匹配
    // 1. 直接匹配
    long smartKeyHash = TypeUtils.fnv1a_64_extract(key);
    int pos = Arrays.binarySearch(smartMatchHashArray, smartKeyHash);
    // 2. 忽略key的字母大小写和'-','_'两个字符
    if (pos < 0) { 
        long smartKeyHash1 = TypeUtils.fnv1a_64_lower(key);
        pos = Arrays.binarySearch(smartMatchHashArray, smartKeyHash1);
    }
    // 3. 如果key以'is'开头,则忽略'is'开头并忽略剩余字母大小写和'-','_'两个字符
    boolean is = false;
    if (pos < 0 && (is = key.startsWith("is"))) { 
        smartKeyHash = TypeUtils.fnv1a_64_lower(key.substring(2));
        pos = Arrays.binarySearch(smartMatchHashArray, smartKeyHash);
    }

// 优先取@JSONField的name字段直接与JSON中的key做匹配
    // 其次取JavaBean字段名忽略字母大小写和'-','_'两个字符尝试与JSON中的key做智能匹配
    private long nameHashCode64(String name, JSONField annotation)
    { 
        if (annotation != null && annotation.name().length() != 0) { 
            return TypeUtils.fnv1a_64_extract(name);
        }
        return TypeUtils.fnv1a_64_lower(name);
    }

![在这里插入图片描述][20210102143218899.png]

## 区别 ##

高版本与低版本的智能匹配规则差异就是：如果JavaBean字段有`@JSONField`注解且name不空时，低配版对name的值会忽略字母大小写和`-`,`_`两个字符，而高版本则直接取name的值不会做忽略操作。

因此示例中加了`@JSONField`注解的`labelId`字段才会因为FastJSON版本不同而导致反序列化结果的不同。

在对FastJSON的最新几个版本挨个排查后定位出智能匹配规则发生修改的版本为`1.2.71`，所以如果代码中使用了智能匹配，那么建议谨慎升级到`1.2.71`及其更高的版本。

另外这么明显的未向前兼容的规则修改，应该有很多人会踩坑。于是去FastJSON的GitHub上查看后果然已经有人提出了issues：[1.2.71以上版本加了JSONField的字段无法反序列化][1.2.71_JSONField]。

[20210102143203379.png]: /images/20221120/fc33bb06e4784f019a98dd6ad4993df4.png
[20210102143218899.png]: /images/20221120/6e18021269af4b5f816e5a06d8fe46f5.png
[1.2.71_JSONField]: https://github.com/alibaba/fastjson/issues/3452

发表评论取消回复

表情：

评论列表（有 0 条评论，116人围观）

还没有评论，来说两句吧...

相关阅读

相关 java8 stream的多字段排序（踩坑）

于java8 的stream排序用法这里不做多说，这里介绍下曾经在多字段排序时遇到过的一个坑。需求：需要根据id去分组，然后取出每组中行号最大的一个对象值。想...

小鱼儿/ 2024年04月19日 10:13/ 0 赞/ 36 阅读

相关 nginx路径匹配踩坑

nginx路径匹配踩坑页面403 Forbidden errors > 原因：权限问题，查看日志：\1 open() “/root/a.jpg” failed

梦里梦外;/ 2023年02月10日 13:27/ 0 赞/ 152 阅读

相关 FastJSON字段智能匹配踩坑

背景 2021年第一天早上，客户突然投诉说系统的一个功能出了问题，紧急排查后发现后端系统确实出了bug，原因为前端传输的JSON报文，后端反序列化成JavaBean后部分

向右看齐/ 2023年01月01日 09:55/ 0 赞/ 117 阅读

相关 slam踩坑

一、Linux or cmake 1. cmake无法找到头文件（fatal error: .h: No such file or directory） [ cma

小咪咪/ 2022年11月18日 01:55/ 0 赞/ 198 阅读

相关 Elementui 踩坑

el-upload 第一次没有上传文件提交触发效验后提示文件未上传，上传图片后再点击提交还是提示图片未上传官网里说：由于 JavaScript 的限制，Vue 不能检测数

曾经终败给现在/ 2022年10月12日 01:38/ 0 赞/ 174 阅读

相关 FastJson过滤字段

1、在对象对应字段前面加transient，表示该字段不用序列化，即在生成json的时候就不会包含该字段了。比如 private transient St

小鱼儿/ 2022年06月14日 03:30/ 0 赞/ 135 阅读

相关 katalon踩坑

1.运行报错：Activity' never started ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0

蔚落/ 2022年04月25日 01:10/ 0 赞/ 317 阅读

相关 FastJson过滤字段

1、在对象对应字段前面加transient，表示该字段不用序列化，即在生成json的时候就不会包含该字段了。比如 private transient Strin

╰半橙微兮°/ 2022年04月06日 06:56/ 0 赞/ 147 阅读

相关 FastJson过滤字段

1、在对象对应字段前面加transient，表示该字段不用序列化，即在生成json的时候就不会包含该字段了。比如 private transient Stri

秒速五厘米/ 2022年02月26日 08:16/ 0 赞/ 175 阅读

相关 RocketMQ ——踩坑

1.MQClientException: No route info of this topic, TopicTest1 在客户端的 Producer 运行起来准

Dear 丶/ 2022年02月13日 04:53/ 0 赞/ 413 阅读