编码解码(字符集)

Love The Way You Lie 2022-05-13 12:36 282阅读 0赞

#### 1.基础概念 ####

计算机中储存的信息都是用二进制数表示的，而我们在屏幕上看到的英文、汉字等字符是二进制数转换之后的结果。通俗的说，按照何种规则将字符存储在计算机中，如’a’用什么表示，称为"编码"；反之，将存储在计算机中的二进制数解析显示出来，称为"解码"，如同密码学中的加密和解密。在解码过程中，如果使用了错误的解码规则，则导致’a’解析成’b’或者乱码。

##### 1.1 字符集 #####

字符集（Charset）：是一个系统支持的所有抽象字符的集合。字符是各种文字和符号的总称，包括各国家文字、标点符号、图形符号、数字等。

##### 1.2 字符编码 #####

字符编码（Character Encoding）：即一套法则，在符号集合与数字系统之间建立对应关系。通常人们用符号集合（一般情况下就是文字）来表达信息。而以计算机为基础的信息处理系统则是利用数字(0/1)来存储和处理信息的。因此字符编码就是将符号转换为计算机可以存储的数字。

#### 2.基础知识 ####

常见字符集名称：ASCII字符集、GB2312字符集、GB18030字符集、Unicode字符集等。计算机要准确的处理各种字符集文字，需要进行字符编码，以便计算机能够识别和存储各种文字。

##### 2.1 ASCII字符集&编码 #####

ASCII（American Standard Code for Information Interchange，美国信息交换标准代码）是基于拉丁字母的一套电脑编码系统。它主要用于显示现代英语，而其扩展版本EASCII则可以显示其他西欧语言。它是现今最通用的单字节编码系统。

##### 1) ASCII字符集： #####

ASCII字符集：主要包括控制字符（回车键、退格、换行键等）；可显示字符（英文大小写字符、阿拉伯数字和西文符号）。

##### 2) ASCII编码： #####

ASCII编码：将ASCII字符集转换为计算机系统可以存储的数字的编码规则。使用7位（bits）表示一个字符，共128字符；但是7位编码的字符集只能支持128个字符，为了表示更多的欧洲常用字符对ASCII进行了扩展，ASCII扩展字符集使用8位（bits）表示一个字符，共256字符。

##### 2.2. GBXXXX字符集&编码 #####

计算机发明之初，只用应用于美国及西方一些发达国家，ASCII能够很好的满足需求。但是当天朝也有了计算机之后，为了显示中文，必须设计一套用于将汉字转换为计算机可以存储的数字的编码。

> GB 2312 标准共收录 6763 个汉字，GB 2312 对任意字符都采用双字节表示  
> GBK 共收入 21886 个汉字和图形符号，GBK 对任意字符都采用双字节表示  
> GB 18030 共收录汉字70244个，GB 18030 编码是一二四字节变长编码。其单字节，与 ASCII 编码兼容。  
> 注:GBK兼容GB2312，GB18030兼容GBK

##### 2.3 Unicode字符集&编码 #####

Unicode是国际组织制定的可以容纳世界上所有文字和符号的字符编码方案，记录着世界上所有字符对应的一个数字。

##### 1) UTF-8编码 #####

UTF-8 是目前互联网上使用最广泛的一种 Unicode 编码方式，它的最大特点就是可变长。它可以使用 1 - 4 个字节表示一个字符，根据字符的不同变换长度。

###### UTF-8以字节为单位对Unicode进行编码。从Unicode到UTF-8的编码方式如下: ######

<table> 
 <thead> 
  <tr> 
   <th align="left">Unicode编码(十六进制)</th> 
   <th align="left">UTF-8字节流(二进制)</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">000000—00007F</td> 
   <td align="left">0xxxxxxx</td> 
  </tr> 
  <tr> 
   <td align="left">000080—0007FF</td> 
   <td align="left">110xxxxx 10xxxxxx</td> 
  </tr> 
  <tr> 
   <td align="left">000800—00FFFF</td> 
   <td align="left">1110xxxx 10xxxxxx 10xxxxxx</td> 
  </tr> 
  <tr> 
   <td align="left">010000—10FFFF</td> 
   <td align="left">11110xxx 10xxxxxx 10xxxxxx 10xxxxxx</td> 
  </tr> 
 </tbody> 
</table>

###### UTF-8的特点是对不同范围的字符使用不同长度的编码。对于0x00—0x7F之间的字符，UTF-8编码与 ASCII 编码完全相同。 ######

> 对于需要使用 N 个字节来表示的字符（N > 1），第一个字节的前 N 位都设为 1，第 N + 1 位设为0，剩余的 N - 1 个字节的前两位都设位 10，剩下的二进制位则使用这个字符的 Unicode 码点来填充。  
> 例1：“汉”字的Unicode编码是0x6C49。0x6C49在0x0800-0xFFFF之间，使用3字节模板：1110xxxx 10xxxxxx 10xxxxxx。将0x6C49写成二进制是：0110 1100 0100 1001， 用这个比特流依次代替模板中的x，得到：11100110 10110001 10001001，即E6 B1 89。

##### 2.4 Base64字符集&编码 #####

Base64要求把每三个8Bit的字节转换为四个6Bit的字节（3*8 = 4*6 = 24），然后把6Bit再添两位高位0，组成四个8Bit的字节，也就是说，转换后的字符串理论上将要比原来的长1/3。  
![这里写图片描述][70]

##### 1) 数据正好3字节 #####

例如: “ABC”  
UTF-8编码后: 01000001 01000010 01000011  
转换 : 00010000 00010100 00001001 00000011  
结果: “QUJD”

##### 2) 数据剩余2字节 #####

例如: “AB”  
UTF-8编码后: 01000001 01000010  
转换 : 00010000 00010100 00001000  
结果: “QUI=”

> 2个字节16位，base64进行编码时，每6位一组，最后一组只有4位，右侧需要用"00"补齐，编码后的结果添加一个"="

##### 3) 数据剩余1字节 #####

例如: “A”  
UTF-8编码后: 01000001  
转换 : 00010000 00010000  
结果: “QQ==”

> 1个字节8位，base64进行编码时，每6位一组，最后一组只有2位，右侧需要用"0000"补齐，编码后的结果添加一个"=="

[70]: /images/20220513/2ed6578fe1324650b67a58b17aa61d52.png