java中文乱码问题----常见编码类型

ゝ一世哀愁。 2022-07-24 12:27 319阅读 0赞

在java里面的编码问题是一个非常常见的问题，最近在玩网络爬虫，在我写的一个最简单的爬虫示例里面，我发现我爬知乎首页和百度百科的源代码出现了乱码。知乎的首页爬出来的数据，中文能正常显示，而百度百科的首页爬出来的数据中文全部是乱码。这让我想起来总结一下java中编码 中文乱码的问题，不能每次出错了就百度，要搞清楚其中的原理，顺便做个总结。

# 1. 问题的起源    #

对于计算机而言，它只认识0和1，不管是在本地磁盘还是内存中，所有的数据（包括文本，图片，视频）等等都是以二进制的形式保存。

> 字符是指计算机中使用的字母、数字、字和符号，包括：1、2、3、A、B、C、~！·\#￥%……—\*（）——+等等。  
> 
> 
> **字符的编码**：不同字符对应于二进制的规则。
> 
> 字符编码的集合就是**字符集。**

**      **  在早期，只在老美那儿，只需要编码26个字母和一些常用的特殊字符，所以一个字节完全够用。但是随着计算机技术的发展，全球都在使用计算机，每个国家的语言不一样，需要编码的字符就越来越多。特别是对于中文这一种，可能需要编码的字符达到数千上万种，一个字节肯定是不行的。为了让世界统一编码，就产生了Unicode。

所以编码的原因有如下几点：

1.  计算机中存储信息的最小单元是一个字节即 8 个 bit，所以能表示的字符范围是 0~255 个。
2.  人类要表示的符号太多，无法用一个字节来完全表示。
3.  要解决这个矛盾必须需要一个新的数据结构 char，从 char 到 byte 必须编码。

java内部就是采用Unicode编码，所以在java运行的过程中就必然存在从Unicode与计算机操作系统或则浏览器支持的编码格式相互转换的过程，这个转换有一系列的步骤，如果转换的过程中有一个步骤出错就会产生乱码。

所以产生java乱码的问题在于JVM与对应的操作系统/浏览器进行编码格式转换时出现了错误。

为了了解其内部原因，我们先了解现有的汉字编码和编码转换。

# 2. 常见的字符编码    #

> 常见的字符编码主要有：ASCII码、GB\*\*码、Unicode三种。
> 
> 补充：
> 
> 还有一个**ISO 8859-1** 编码，这个西欧语言编码，采用一个字节8位字符集。  
>

## 1. ASCII编码：    ##

ASCII编码是典型的单字节编码。ASCII码使用指定的7位或者8为二进制数字组合表示128或者256种可能的字符。标准ASCII编码是表示128个字符，后来的扩展ASCII（也就是**ISO 8859-1** 编码）表示256种字符。

## 2. GB\*\*编码：用于汉字的编码，主要包括：GB2312、GBK、GB18030。    ##

> ### （1）GB2312 ###
> 
> 一个汉字字符存储需要2个字节，即双字节编码。总的编码范围是 A1-F7，其中从 A1-A9 是符号区，总共包含 682 个符号，从 B0-F7 是汉字区，包含 6763 个汉字。
> 
> ### （2）GBK ###
> 
> 它的出现是为了扩展 GB2312，它的编码是和 GB2312 兼容的。一个汉字字符存储需要2个字节。  
> 
> 
>   
> 
> 
> ### （3）GB18030    ###

> 与UTF-8相同，采用多字节编码，每个字可以由1个、2个或4个字节组成。实际应用系统中使用的并不广泛。  
>

## 3. Unicode编码    ##

>          Unicode又称为统一码、万国码、单一码，它是为了解决传统的字符编码方案的局限而产生的，它为每种语言中的每个字符设定了统一并且唯一的二进制编码，以满足跨语言、跨平台进行文本转、换、处理的要求。可以想象Unicode作为一个“字符大容器”，它将世界上所有的符号都包含其中，并且每一个符号都有自己独一无二的编码，这样就从根本上解决了乱码的问题。所以Unicode是一种所有符号的编码。  
>

>         Unicode是字符集，它主要有UTF-8、UTF-16、UTF-32三种实现方式。由于UTF-8是目前主流的实现方式，UTF-16、UTF-32相对而言使用较少，所以下面就主要介绍UTF-8。  
>

### （1）UTF-8：    ###

>         UTF-8是一种针对Unicode的可变长度字符编码,可以使用1~4个字节表示一个符号，根据不同的符号而变化字节长度。所以utf-8是Unicode的实现方式之一。规则如下：
> 
> 1）对于单字节的符号，字节的第一位设为0，后面7位为这个符号的unicode码。因此对于英语字母，UTF-8编码和ASCII码是相同的。
> 
> 2）对于n字节的符号（n>1），第一个字节的前n位都设为1，第n+1位设为0，后面字节的前两位一律设为10。剩下的没有提及的二进制位，全部为这个符号的unicode码。
> 
>         在UTF-8编码中，一个英文字母字符存储需要1个字节，一个汉字字符储存需要3到4个字节。
> 
>         在UTF-16编码中，一个英文字母字符或一个汉字字符存储都需要2个字节（Unicode扩展区的一些汉字存储需要4个字节）。
> 
>         在UTF-32编码中，世界上任何字符的存储都需要4个字节。  
>

### （2）UTF-16 ###

> UTF-16 用两个字节来表示 Unicode 转化格式，这个是定长的表示方法，不论什么字符都可以用两个字节表示，两个字节是 16 个 bit，所以叫 UTF-16。用的很少，这里不详细介绍了。  
>

### （3）UTF-32    ###

> 世界上任何字符的存储都需要4个字节。用的很少，这里不详细介绍了。  
> 
> 
>   
>