不可见字符的坑

小灰灰 2022-05-22 08:05 183阅读 0赞

## 问题 ##

不知道用户从哪里copy来的不可见字符,通过前端表单传给后端保存在数据库中,用户再次查看该数据时,前端无法解析后端返回的json字符串,后来通过数据库发现该数据中间出现了一个换行符号/u2028，带有这个字符的json通过js是不能解析的。这个字符属于不可见字符，很难发现。

常见不可见字符

<table> 
 <thead> 
  <tr> 
   <th>Unicode</th> 
   <th>字符值</th> 
   <th>转义序列</th> 
   <th>含义</th> 
   <th>类别</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>\u0008</td> 
   <td>\b</td> 
   <td>Backspace</td> 
   <td></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>\u0009</td> 
   <td>\t</td> 
   <td>Tab</td> 
   <td>空白</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>\u000A</td> 
   <td>\n</td> 
   <td>换行符（换行）</td> 
   <td>行结束符</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>\u000B</td> 
   <td>\v</td> 
   <td>垂直制表符</td> 
   <td>空白</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>\u000C</td> 
   <td>\f</td> 
   <td>换页</td> 
   <td>空白</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>\u000D</td> 
   <td>\r</td> 
   <td>回车</td> 
   <td>行结束符</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>\u0022</td> 
   <td>\”</td> 
   <td>双引号</td> 
   <td>(“)</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>\u0027</td> 
   <td>\’</td> 
   <td>单引号</td> 
   <td>(‘)</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>\u005C</td> 
   <td>\</td> 
   <td>反斜杠</td> 
   <td>( \ )</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>\u00A0</td> 
   <td></td> 
   <td>不间断空格</td> 
   <td>空白</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>\u2028</td> 
   <td></td> 
   <td>行分隔符</td> 
   <td>行结束符</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>\u2029</td> 
   <td></td> 
   <td>段落分隔符</td> 
   <td>行结束符</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>\uFEFF</td> 
   <td></td> 
   <td>字节顺序标记</td> 
   <td>空白</td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

## 解决方案 ##

在过滤器中使用包装类替换request。代码如下

**过滤器**，这里通过注解的方式向SpringMVC注册过滤器。

@Slf4j
    @WebFilter
    @Component
    @Order(Ordered.HIGHEST_PRECEDENCE)
    public class SpecialCharacterFilter implements Filter { 
    	@Override
    	public void init(FilterConfig filterConfig) throws ServletException { 
    		log.info("SpecialCharacterFilter-------------------------初始化");
    	}
    
    	@Override
    	public void doFilter(ServletRequest request, ServletResponse response, FilterChain chain) throws IOException, ServletException { 
    		// 使用包装类替换request
    		chain.doFilter(new SpecialCharacterRequestWrapper((HttpServletRequest) request), response);
    	}
    
    	@Override
    	public void destroy() { 
    		log.info("SpecialCharacterFilter-------------------------销毁");
    	}
    }

**Request包装类**，通过包装request的方法，拦截获取参数的方法，替换特殊字符。该方法对于`@RequestBody`接收的参数不支持，需要拦截`getInputStream`方法。

public class SpecialCharacterRequestWrapper extends HttpServletRequestWrapper { 
    
    	/** * Constructs a request object wrapping the given request. * * @param request The request to wrap * @throws IllegalArgumentException if the request is null */
    	public SpecialCharacterRequestWrapper(HttpServletRequest request) { 
    		super(request);
    	}
    
    	@Override
    	public String getParameter(String name) { 
    		return replaceSpecialCharacter(super.getParameter(name));
    	}
    
    	@Override
    	public String[] getParameterValues(String name) { 
    		return replaceSpecialCharacter(super.getParameterValues(name));
    	}
    
    	@Override
    	public Map<String, String[]> getParameterMap() { 
    		Map<String, String[]> oldParams = super.getParameterMap();
    		Map<String, String[]> newParams = new HashMap<>(oldParams.size());
    		oldParams.forEach((k, v) -> newParams.put(k, replaceSpecialCharacter(v)));
    		return oldParams;
    	}
    
    	/** * 替换指定特殊字符 * * @param oldStr 旧字符串 * @return 新字符串 */
    	private String replaceSpecialCharacter(String oldStr) { 
    		return oldStr == null ? null : oldStr.replace("cnm", "***");
    	}
    
    	/** * 替换指定特殊字符 * * @param oldStr 旧字符串 * @return 新字符串 */
    	private String[] replaceSpecialCharacter(String[] oldStr) { 
    		if (oldStr == null) { 
    			return null;
    		}
    		for (int i = 0, length = oldStr.length; i < length; i++) { 
    			oldStr[i] = replaceSpecialCharacter(oldStr[i]);
    		}
    		return oldStr;
    	}
    }

**测试**，两个测试方法，一个接收指定参数，一个接收全部参数。

@RestController
    @SpringBootApplication
    public class Application { 
    
    	public static void main(String[] args) { 
    		SpringApplication.run(Application.class, args);
    	}
    
    	/** * 访问 http://localhost:8080/test1?msg=cnm * 输出 *** */
    	@RequestMapping("/test1")
    	public String test1(String msg) { 
    		return msg;
    	}
    	
    	/** * 访问 http://localhost:8080/test2?msg=cnm * 输出 {"msg":"***"} */
    	@RequestMapping("/test2")
    	public Map test2(@RequestParam Map map) { 
    		return map;
    	}
    }