Unicode

快来打我* 2022-05-29 09:15 156阅读 0赞

## Unicode ##

最终，美国人意识到他们应该提出一种标准方案来展示世界上所有语言中的所有字符，出于这个目的，Unicode诞生了。

Unicode 当然是一本很厚的字典，记录着世界上所有字符对应的一个数字。具体是怎样的对应关系，又或者说是如何进行划分的，就不是我们考虑的问题了，我们只用知道 Unicode 给所有的字符指定了一个数字用来表示该字符。

对于 Unicode 有一些误解，它仅仅只是一个字符集，规定了符合对应的二进制代码，至于这个二进制代码如何存储则没有任何规定。它的想法很简单，就是为每个字符规定一个   
用来表示该字符的数字，仅此而已。

#### UTF-8 ####

UTF-8 是一个非常惊艳的编码方式，漂亮的实现了对 ASCII 码的向后兼容，以保证 Unicode 可以被大众接受。

UTF-8 是目前互联网上使用最广泛的一种 Unicode 编码方式，它的最大特点就是可变长。它可以使用 1 - 4 个字节表示一个字符，根据字符的不同变换长度。编码规则如下：

1.  对于单个字节的字符，第一位设为 0，后面的 7 位对应这个字符的 Unicode 码点。因此，对于英文中的 0 - 127 号字符，与 ASCII 码完全相同。这意味着 ASCII 码那个年代的文档用 UTF-8 编码打开完全没有问题。
2.  对于需要使用 N 个字节来表示的字符（N > 1），第一个字节的前 N 位都设为 1，第 N + 1 位设为0，剩余的 N - 1 个字节的前两位都设位 10，剩下的二进制位则使用这个字符的 Unicode 码点来填充。

编码规则如下：

<table style="width:700px;text-align:center;color:rgb(69,69,69);font-family:'-apple-system', 'SF UI Text', Arial, 'PingFang SC', 'Hiragino Sans GB', 'Microsoft YaHei', 'WenQuanYi Micro Hei', sans-serif, SimHei, SimSun;font-size:16px;background-color:rgb(255,255,255);"> 
 <thead> 
  <tr> 
   <th align="left" style="vertical-align:middle;">Unicode 十六进制码点范围</th> 
   <th align="left" style="vertical-align:middle;">UTF-8 二进制</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left" style="vertical-align:middle;">0000 0000 - 0000 007F</td> 
   <td align="left" style="vertical-align:middle;">0xxxxxxx</td> 
  </tr> 
  <tr> 
   <td align="left" style="vertical-align:middle;">0000 0080 - 0000 07FF</td> 
   <td align="left" style="vertical-align:middle;">110xxxxx 10xxxxxx</td> 
  </tr> 
  <tr> 
   <td align="left" style="vertical-align:middle;">0000 0800 - 0000 FFFF</td> 
   <td align="left" style="vertical-align:middle;">1110xxxx 10xxxxxx 10xxxxxx</td> 
  </tr> 
  <tr> 
   <td align="left" style="vertical-align:middle;">0001 0000 - 0010 FFFF</td> 
   <td align="left" style="vertical-align:middle;">11110xxx 10xxxxxx 10xxxxxx 10xxxxxx</td> 
  </tr> 
 </tbody> 
</table>

根据上面编码规则对照表，进行 UTF-8 编码和解码就简单多了。下面以汉字“汉”为利，具体说明如何进行 UTF-8 编码和解码。

“汉”的 Unicode 码点是 0x6c49（110 1100 0100 1001），通过上面的对照表可以发现，`0x0000 6c49` 位于第三行的范围，那么得出其格式为 `1110xxxx 10xxxxxx 10xxxxxx`。接着，从“汉”的二进制数最后一位开始，从后向前依次填充对应格式中的 x，多出的 x 用 0 补上。这样，就得到了“汉”的 UTF-8 编码为 `11100110 10110001 10001001`，转换成十六进制就是 `0xE6 0xB7 0x89`。

解码的过程也十分简单：如果一个字节的第一位是 0 ，则说明这个字节对应一个字符；如果一个字节的第一位1，那么连续有多少个 1，就表示该字符占用多少个字节。

'\uff00' 表示一个unicode形式的字符,unicode形式都是16进制的。