转细说：Unicode, UTF-8, UTF-16, UTF-32, UCS-2, UCS-4

- 日理万妓 2024-04-17 06:02 22阅读 0赞

**1. Unicode与ISO 10646**

全世界很多个国家都在为自己的文字编码，并且互不想通，不同的语言字符编码值相同却代表不同的符号（例如：韩文编码EUC-KR中“한국어”的编码值正好是汉字编码GBK中的“茄惫绢”）。因此，同一份文档，拷贝至不同语言的机器，就可能成了乱码，于是人们就想：**我们能不能定义一个超大的字符集，它可以容纳全世界所有的文字字符，再对它们统一进行编码，让每一个字符都对应一个不同的编码值，从而就不会再有乱码了。**

如果说“各个国家都在为自己文字独立编码”是百家争鸣，那么“建立世界统一的字符编码”则是一统江湖，谁都想来做这个武林盟主。早前就有两个机构试图来做这个事：  
(1) [国际标准化组织（ISO）][ISO]，他们于1984年创建ISO/IEC JTC1/SC2/WG2工作组，试图制定一份“通用字符集”（Universal Character Set，简称UCS），并最终制定了[ISO 10646][]标准。  
(2) [统一码联盟][Link 1]，他们由Xerox、Apple等软件制造商于1988年组成，并且开发了[Unicode][]标准（The Unicode Standard，这个前缀Uni很牛逼哦---Unique, Universal, and Uniform）。

1991年前后，两个项目的参与者都认识到，世界不需要两个不兼容的字符集。于是，它们开始合并双方的工作成果，并为创立一个单一编码表而协同工作。从Unicode 2.0开始，Unicode采用了与ISO 10646-1相同的字库和字码；ISO也承诺，ISO 10646将不会替超出U+10FFFF的UCS-4编码赋值，以使得两者保持一致。两个项目仍都独立存在，并独立地公布各自的标准。不过由于Unicode这一名字比较好记，因而它使用更为广泛。

Unicode编码点分为17个平面（plane），每个平面包含216（即65536）个码位（code point）。17个平面的码位可表示为从U+xx0000到U+xxFFFF，其中xx表示十六进制值从0016到1016，共计17个平面。

**2. UTF-32与UCS-4**

在Unicode与ISO 10646合并之前，ISO 10646标准为“通用字符集”（UCS）定义了一种31位的编码形式（即UCS-4），其编码固定占用4个字节，编码空间为0x00000000~0x7FFFFFFF（可以编码20多亿个字符）。

UCS-4有20多亿个编码空间，但实际使用范围并不超过0x10FFFF，并且为了兼容Unicode标准，ISO也承诺将不会为超出0x10FFFF的UCS-4编码赋值。由此UTF-32编码被提出来了，它的编码值与UCS-4相同，只不过其编码空间被限定在了0~0x10FFFF之间。因此也可以说：**UTF-32是UCS-4的一个子集**。

**3. UTF-16与UCS-2**

除了UCS-4，ISO 10646标准为“通用字符集”（UCS）定义了一种16位的编码形式（即UCS-2），其编码固定占用2个字节，它包含65536个编码空间（可以为全世界最常用的63K字符编码，为了兼容Unicode，0xD800-0xDFFF之间的码位未使用）。例：“汉”的UCS-2编码为6C49。

但俩个字节并不足以正真地“一统江湖”（a fixed-width 2-byte encoding could not encode enough characters to be truly universal），于是UTF-16诞生了，与UCS-2一样，它使用两个字节为全世界最常用的63K字符编码，不同的是，它使用4个字节对不常用的字符进行编码。UTF-16属于变长编码。

前面提到过：Unicode编码点分为17个平面（plane），每个平面包含216（即65536）个码位（code point），而第一个平面称为“基本多语言平面”（Basic Multilingual Plane，简称BMP），其余平面称为“辅助平面”（Supplementary Planes）。其中“基本多语言平面”（0~0xFFFF）中0xD800~0xDFFF之间的码位作为保留，未使用。UCS-2只能编码“基本多语言平面”中的字符，此时UTF-16与UCS-2的编码一样（都直接使用Unicode的码位作为编码值），例：“汉”在Unicode中的码位为6C49，而在UTF-16编码也为6C49。另外，UTF-16还可以利用保留下来的0xD800-0xDFFF区段的码位来对“辅助平面”的字符的码位进行编码，因此UTF-16可以为Unicode中所有的字符编码。

UTF-16中如何对“辅助平面”进行编码呢？

Unicode的码位区间为0~0x10FFFF，除“基本多语言平面”外，还剩0xFFFFF个码位（并且其值都大于或等于0x10000）。对于“辅助平面”内的字符来说，如果用它们在Unicode中码位值减去0x10000，则可以得到一个0~0xFFFFF的区间（该区间中的任意值都可以用一个20-bits的数字表示）。该数字的前10位(bits)加上0xD800，就得到UTF-16四字节编码中的前两个字节；该数字的后10位(bits)加上0xDC00，就得到UTF-16四字节编码中的后两个字节。例如：  
![format_png][]（这个字念啥？^\_^）  
上面这个汉字的Unicode码位值为2AEAB，减去0x10000得到1AEAB（二进制值为0001 1010 1110 1010 1011），前10位加上D800得到D86B，后10位加上DC00得到DEAB。于是该字的UTF-16编码值为D86BDEAB（该值为大端表示，小端为6BD8ABDE）。

**4. UTF-8**

从前述内容可以看出：无论是UTF-16/32还是UCS-2/4，一个字符都需要多个字节来编码，这对那些英语国家来说多浪费带宽啊！（尤其在网速本来就不快的那个年代。。。）由此，UTF-8产生了。在UTF-8编码中，ASCII码中的字符还是ASCII码的值，只需要一个字节表示，其余的字符需要2字节、3字节或4字节来表示。

UTF-8的编码规则：

(1) 对于ASCII码中的符号，使用单字节编码，其编码值与ASCII值相同（详见：[U0000.pdf][]）。其中ASCII值的范围为0~0x7F，所有编码的二进制值中第一位为0（这个正好可以用来区分单字节编码和多字节编码）。

(2) 其它字符用多个字节来编码（假设用N个字节），多字节编码需满足：第一个字节的前N位都为1，第N+1位为0，后面N-1 个字节的前两位都为10，这N个字节中其余位全部用来存储Unicode中的码位值。

<table> 
 <tbody> 
  <tr> 
   <th>字节数</th> 
   <th>Unicode</th> 
   <th>UTF-8编码</th> 
  </tr> 
  <tr> 
   <td>1</td> 
   <td>000000-00007F</td> 
   <td>0xxxxxxx</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>000080-0007FF</td> 
   <td>110xxxxx 10xxxxxx</td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>000800-00FFFF</td> 
   <td>1110xxxx 10xxxxxx 10xxxxxx</td> 
  </tr> 
  <tr> 
   <td>4</td> 
   <td>010000-10FFFF</td> 
   <td>11110xxx 10xxxxxx 10xxxxxx 10xxxxxx</td> 
  </tr> 
 </tbody> 
</table>

**5. 总结**

(1) 简单地说：Unicode属于字符集，不属于编码，UTF-8、UTF-16等是针对Unicode字符集的编码。

(2) UTF-8、UTF-16、UTF-32、UCS-2、UCS-4对比：

<table> 
 <tbody> 
  <tr> 
   <th>对比</th> 
   <th>UTF-8</th> 
   <th>UTF-16</th> 
   <th>UTF-32</th> 
   <th>UCS-2</th> 
   <th>UCS-4</th> 
  </tr> 
  <tr> 
   <td>编码空间</td> 
   <td>0-10FFFF</td> 
   <td>0-10FFFF</td> 
   <td>0-10FFFF</td> 
   <td>0-FFFF</td> 
   <td>0-7FFFFFFF</td> 
  </tr> 
  <tr> 
   <td>最少编码字节数</td> 
   <td>1</td> 
   <td>2</td> 
   <td>4</td> 
   <td>2</td> 
   <td>4</td> 
  </tr> 
  <tr> 
   <td>最多编码字节数</td> 
   <td>4</td> 
   <td>4</td> 
   <td>4</td> 
   <td>2</td> 
   <td>4</td> 
  </tr> 
  <tr> 
   <td>是否依赖字节序</td> 
   <td>否</td> 
   <td>是</td> 
   <td>是</td> 
   <td>是</td> 
   <td>是</td> 
  </tr> 
 </tbody> 
</table>

参考：

*  [维基百科：Unicode][Unicode]（[中文版][Link 2]）
 *  [维基百科：Universal Coded Character Set][ISO 10646]（[中文版][Link 3]）
 *  [维基百科：UTF-8][UTF-8]（[中文版][Link 4]）
 *  [维基百科：UTF-16][UTF-16]（[中文版][Link 5]）
 *  [维基百科：UTF-32][UTF-32]（[中文版][Link 6]）
 *  [FAQ: UTF-8, UTF-16, UTF-32 & BOM][FAQ_ UTF-8_ UTF-16_ UTF-32 _ BOM]
 *  [Unicode 8.0 Character Code Charts][]
 *  [CJK Unified Ideographs (Han)][CJK Unified Ideographs _Han]
 *  [阮一峰：字符编码笔记：ASCII，Unicode和UTF-8][ASCII_Unicode_UTF-8]
 *  [UCS vs UTF-8 as Internal String Encoding][]

本系列文章包括：

*  [ANSI是什么编码？][ANSI]
 *  [汉字编码：GB2312, GBK, GB18030, Big5][GB2312_ GBK_ GB18030_ Big5]
 *  [细说：Unicode, UTF-8, UTF-16, UTF-32, UCS-2, UCS-4][Unicode_ UTF-8_ UTF-16_ UTF-32_ UCS-2_ UCS-4]

转载请注明出处：[http://www.cnblogs.com/malecrab/p/5300503.html][Unicode_ UTF-8_ UTF-16_ UTF-32_ UCS-2_ UCS-4]

[ISO]: https://en.wikipedia.org/wiki/International_Organization_for_Standardization
[ISO 10646]: https://en.wikipedia.org/wiki/Universal_Coded_Character_Set
[Link 1]: https://en.wikipedia.org/wiki/Unicode_Consortium
[Unicode]: https://en.wikipedia.org/wiki/Unicode
[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMyMDE1LmNuYmxvZ3MuY29tL2Jsb2cvODk4MzMzLzIwMTYwMy84OTgzMzMtMjAxNjAzMjEwODEzMzAyOTItMTI0MTQ5MjE4Ny5wbmc?x-oss-process=image/format,png
[U0000.pdf]: http://www.unicode.org/charts/PDF/U0000.pdf
[Link 2]: https://zh.wikipedia.org/zh-cn/Unicode
[Link 3]: https://zh.wikipedia.org/zh-cn/%E9%80%9A%E7%94%A8%E5%AD%97%E7%AC%A6%E9%9B%86
[UTF-8]: https://en.wikipedia.org/wiki/UTF-8
[Link 4]: https://zh.wikipedia.org/zh-cn/UTF-8
[UTF-16]: https://en.wikipedia.org/wiki/UTF-16
[Link 5]: https://zh.wikipedia.org/zh-cn/UTF-16
[UTF-32]: https://en.wikipedia.org/wiki/UTF-32
[Link 6]: https://zh.wikipedia.org/zh-cn/UTF-32
[FAQ_ UTF-8_ UTF-16_ UTF-32 _ BOM]: http://unicode.org/faq/utf_bom.html
[Unicode 8.0 Character Code Charts]: http://www.unicode.org/charts/
[CJK Unified Ideographs _Han]: http://www.unicode.org/charts/PDF/U4E00.pdf
[ASCII_Unicode_UTF-8]: http://www.ruanyifeng.com/blog/2007/10/ascii_unicode_and_utf-8.html
[UCS vs UTF-8 as Internal String Encoding]: http://lucumr.pocoo.org/2014/1/9/ucs-vs-utf8/
[ANSI]: http://www.cnblogs.com/malecrab/p/5300486.html
[GB2312_ GBK_ GB18030_ Big5]: http://www.cnblogs.com/malecrab/p/5300497.html
[Unicode_ UTF-8_ UTF-16_ UTF-32_ UCS-2_ UCS-4]: http://www.cnblogs.com/malecrab/p/5300503.html