最基础的ASCII、Unicode、UTF-8一起来多了解点

刺骨的言语ヽ痛彻心扉 2021-07-24 18:31 277阅读 0赞

# ASCII #

## 简介 ##

ASCII(American Standard Code for Information Interchange-美国信息交换标准代码)，是基于拉丁字母的一套电脑编码系统，主要用于显示现代英语和其他西欧语言。它是最通用的信息交换标准，到目前为止定义了128个字符。

## 产生原因 ##

在计算机中，所有的数据在存储和运算时都要使用二进制数表示（因为计算机用高电平和低电平分别表示1和0），例如52个英文字母、1-9的数字、常用的一些字符在计算机中存储时也需要使用二进制来表示，而具体使用什么样的二进制来表示，不同的人有不同的约定，而为了达到相互通信而不造成混乱的目的，大家就必须使用统一的编码规则，于是美国国家标准学会(American National Standard Institute, ANSI)就制定了ASCII编码，ASCII编码统一规定了上述符合用哪些二进制数来表示。

## 表达方式 ##

ASCII码使用指定的7位或者8位二进制数组合来表示128种或者256种可能的字符，标准ASCII码也叫基础ASCII码，使用7位二进制数（剩余一位二进制为0）来表示所有的大些和小写字母、数组0-9、其他字符以及美式英语中使用的椰树控制字符。

## 标准表 ##

<table> 
 <thead> 
  <tr> 
   <th><strong>十进制</strong></th> 
   <th><strong>缩写/字符</strong></th> 
   <th><strong>说明</strong></th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>0</td> 
   <td>NUL(null)</td> 
   <td>空字符</td> 
  </tr> 
  <tr> 
   <td>1</td> 
   <td>SOH(start of headline)</td> 
   <td>标题开始</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>STX (start of text)</td> 
   <td>正文开始</td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>ETX (end of text)</td> 
   <td>正文结束</td> 
  </tr> 
  <tr> 
   <td>4</td> 
   <td>EOT (end of transmission)</td> 
   <td>传输结束</td> 
  </tr> 
  <tr> 
   <td>5</td> 
   <td>ENQ (enquiry)</td> 
   <td>请求</td> 
  </tr> 
  <tr> 
   <td>6</td> 
   <td>ACK (acknowledge)</td> 
   <td>收到通知</td> 
  </tr> 
  <tr> 
   <td>7</td> 
   <td>BEL (bell)</td> 
   <td>响铃</td> 
  </tr> 
  <tr> 
   <td>8</td> 
   <td>BS (backspace)</td> 
   <td>退格</td> 
  </tr> 
  <tr> 
   <td>9</td> 
   <td>HT (horizontal tab)</td> 
   <td>水平制表符</td> 
  </tr> 
  <tr> 
   <td>10</td> 
   <td>LF (NL line feed, new line)</td> 
   <td>换行键</td> 
  </tr> 
  <tr> 
   <td>11</td> 
   <td>VT (vertical tab)</td> 
   <td>垂直制表符</td> 
  </tr> 
  <tr> 
   <td>12</td> 
   <td>FF (NP form feed, new page)</td> 
   <td>换页键</td> 
  </tr> 
  <tr> 
   <td>13</td> 
   <td>CR (carriage return)</td> 
   <td>回车键</td> 
  </tr> 
  <tr> 
   <td>14</td> 
   <td>SO (shift out)</td> 
   <td>不用切换</td> 
  </tr> 
  <tr> 
   <td>15</td> 
   <td>SI (shift in)</td> 
   <td>启用切换</td> 
  </tr> 
  <tr> 
   <td>16</td> 
   <td>DLE (data link escape)</td> 
   <td>数据链路转义</td> 
  </tr> 
  <tr> 
   <td>17</td> 
   <td>DC1 (device control 1)</td> 
   <td>设备控制1</td> 
  </tr> 
  <tr> 
   <td>18</td> 
   <td>DC2 (device control 2)</td> 
   <td>设备控制2</td> 
  </tr> 
  <tr> 
   <td>19</td> 
   <td>DC3 (device control 3)</td> 
   <td>设备控制3</td> 
  </tr> 
  <tr> 
   <td>20</td> 
   <td>DC3 (device control 4)</td> 
   <td>设备控制4</td> 
  </tr> 
  <tr> 
   <td>21</td> 
   <td>NAK(negative acknowledge)</td> 
   <td>拒绝接受</td> 
  </tr> 
  <tr> 
   <td>22</td> 
   <td>SYN(synchronous idle)</td> 
   <td>同步空闲</td> 
  </tr> 
  <tr> 
   <td>23</td> 
   <td>ETB (end of trans. block)</td> 
   <td>结束传输块</td> 
  </tr> 
  <tr> 
   <td>24</td> 
   <td>CAN (cancel)</td> 
   <td>取消</td> 
  </tr> 
  <tr> 
   <td>25</td> 
   <td>EM (end of medium)</td> 
   <td>媒介结束</td> 
  </tr> 
  <tr> 
   <td>26</td> 
   <td>SUB (substitute)</td> 
   <td>代替</td> 
  </tr> 
  <tr> 
   <td>27</td> 
   <td>ESC (escape)</td> 
   <td>换码(溢出)</td> 
  </tr> 
  <tr> 
   <td>28</td> 
   <td>FS (file separator)</td> 
   <td>文件分隔符</td> 
  </tr> 
  <tr> 
   <td>29</td> 
   <td>GS (group separator)</td> 
   <td>分组符</td> 
  </tr> 
  <tr> 
   <td>30</td> 
   <td>RS (record separator)</td> 
   <td>记录分隔符</td> 
  </tr> 
  <tr> 
   <td>31</td> 
   <td>US (unit separator)</td> 
   <td>单元分隔符</td> 
  </tr> 
  <tr> 
   <td>32</td> 
   <td>(space)</td> 
   <td>空格</td> 
  </tr> 
  <tr> 
   <td>33</td> 
   <td>!</td> 
   <td>叹号</td> 
  </tr> 
  <tr> 
   <td>34</td> 
   <td>"</td> 
   <td>双引号</td> 
  </tr> 
  <tr> 
   <td>35</td> 
   <td>#</td> 
   <td>井号</td> 
  </tr> 
  <tr> 
   <td>36</td> 
   <td>$</td> 
   <td>美元符</td> 
  </tr> 
  <tr> 
   <td>37</td> 
   <td>%</td> 
   <td>百分号</td> 
  </tr> 
  <tr> 
   <td>38</td> 
   <td>&amp;</td> 
   <td>和号</td> 
  </tr> 
  <tr> 
   <td>39</td> 
   <td>’</td> 
   <td>闭单引号</td> 
  </tr> 
  <tr> 
   <td>40</td> 
   <td>(</td> 
   <td>开括号</td> 
  </tr> 
  <tr> 
   <td>41</td> 
   <td>)</td> 
   <td>闭括号</td> 
  </tr> 
  <tr> 
   <td>42</td> 
   <td>*</td> 
   <td>星号</td> 
  </tr> 
  <tr> 
   <td>43</td> 
   <td>+</td> 
   <td>加号</td> 
  </tr> 
  <tr> 
   <td>44</td> 
   <td>,</td> 
   <td>逗号</td> 
  </tr> 
  <tr> 
   <td>45</td> 
   <td>-</td> 
   <td>减号/破折号</td> 
  </tr> 
  <tr> 
   <td>46</td> 
   <td>.</td> 
   <td>句号</td> 
  </tr> 
  <tr> 
   <td>47</td> 
   <td>/</td> 
   <td>斜杆</td> 
  </tr> 
  <tr> 
   <td>48</td> 
   <td>0</td> 
   <td>字符0</td> 
  </tr> 
  <tr> 
   <td>49</td> 
   <td>1</td> 
   <td>字符1</td> 
  </tr> 
  <tr> 
   <td>50</td> 
   <td>2</td> 
   <td>字符2</td> 
  </tr> 
  <tr> 
   <td>51</td> 
   <td>3</td> 
   <td>字符3</td> 
  </tr> 
  <tr> 
   <td>52</td> 
   <td>4</td> 
   <td>字符4</td> 
  </tr> 
  <tr> 
   <td>53</td> 
   <td>5</td> 
   <td>字符5</td> 
  </tr> 
  <tr> 
   <td>54</td> 
   <td>6</td> 
   <td>字符6</td> 
  </tr> 
  <tr> 
   <td>55</td> 
   <td>7</td> 
   <td>字符7</td> 
  </tr> 
  <tr> 
   <td>56</td> 
   <td>8</td> 
   <td>字符8</td> 
  </tr> 
  <tr> 
   <td>57</td> 
   <td>9</td> 
   <td>字符9</td> 
  </tr> 
  <tr> 
   <td>58</td> 
   <td>:</td> 
   <td>冒号</td> 
  </tr> 
  <tr> 
   <td>59</td> 
   <td>;</td> 
   <td>分号</td> 
  </tr> 
  <tr> 
   <td>60</td> 
   <td>&lt;</td> 
   <td>小于</td> 
  </tr> 
  <tr> 
   <td>61</td> 
   <td>=</td> 
   <td>等于</td> 
  </tr> 
  <tr> 
   <td>62</td> 
   <td>&gt;</td> 
   <td>大于</td> 
  </tr> 
  <tr> 
   <td>63</td> 
   <td>?</td> 
   <td>问号</td> 
  </tr> 
  <tr> 
   <td>64</td> 
   <td>@</td> 
   <td>电子邮件符号</td> 
  </tr> 
  <tr> 
   <td>65</td> 
   <td>A</td> 
   <td>大写字母A</td> 
  </tr> 
  <tr> 
   <td>66</td> 
   <td>B</td> 
   <td>大写字母B</td> 
  </tr> 
  <tr> 
   <td>67</td> 
   <td>C</td> 
   <td>大写字母C</td> 
  </tr> 
  <tr> 
   <td>68</td> 
   <td>D</td> 
   <td>大写字母D</td> 
  </tr> 
  <tr> 
   <td>69</td> 
   <td>E</td> 
   <td>大写字母E</td> 
  </tr> 
  <tr> 
   <td>70</td> 
   <td>F</td> 
   <td>大写字母F</td> 
  </tr> 
  <tr> 
   <td>71</td> 
   <td>G</td> 
   <td>大写字母G</td> 
  </tr> 
  <tr> 
   <td>72</td> 
   <td>H</td> 
   <td>大写字母H</td> 
  </tr> 
  <tr> 
   <td>73</td> 
   <td>I</td> 
   <td>大写字母I</td> 
  </tr> 
  <tr> 
   <td>74</td> 
   <td>J</td> 
   <td>大写字母J</td> 
  </tr> 
  <tr> 
   <td>75</td> 
   <td>K</td> 
   <td>大写字母K</td> 
  </tr> 
  <tr> 
   <td>76</td> 
   <td>L</td> 
   <td>大写字母L</td> 
  </tr> 
  <tr> 
   <td>77</td> 
   <td>M</td> 
   <td>大写字母M</td> 
  </tr> 
  <tr> 
   <td>78</td> 
   <td>N</td> 
   <td>大写字母N</td> 
  </tr> 
  <tr> 
   <td>79</td> 
   <td>O</td> 
   <td>大写字母O</td> 
  </tr> 
  <tr> 
   <td>80</td> 
   <td>P</td> 
   <td>大写字母P</td> 
  </tr> 
  <tr> 
   <td>81</td> 
   <td>Q</td> 
   <td>大写字母Q</td> 
  </tr> 
  <tr> 
   <td>82</td> 
   <td>R</td> 
   <td>大写字母R</td> 
  </tr> 
  <tr> 
   <td>83</td> 
   <td>S</td> 
   <td>大写字母S</td> 
  </tr> 
  <tr> 
   <td>84</td> 
   <td>T</td> 
   <td>大写字母T</td> 
  </tr> 
  <tr> 
   <td>85</td> 
   <td>U</td> 
   <td>大写字母U</td> 
  </tr> 
  <tr> 
   <td>86</td> 
   <td>V</td> 
   <td>大写字母V</td> 
  </tr> 
  <tr> 
   <td>87</td> 
   <td>W</td> 
   <td>大写字母W</td> 
  </tr> 
  <tr> 
   <td>88</td> 
   <td>X</td> 
   <td>大写字母X</td> 
  </tr> 
  <tr> 
   <td>89</td> 
   <td>Y</td> 
   <td>大写字母Y</td> 
  </tr> 
  <tr> 
   <td>90</td> 
   <td>Z</td> 
   <td>大写字母Z</td> 
  </tr> 
  <tr> 
   <td>91</td> 
   <td>[</td> 
   <td>开括号</td> 
  </tr> 
  <tr> 
   <td>92</td> 
   <td>\</td> 
   <td>反斜杠</td> 
  </tr> 
  <tr> 
   <td>93</td> 
   <td>]</td> 
   <td>闭开括号</td> 
  </tr> 
  <tr> 
   <td>94</td> 
   <td>^</td> 
   <td>脱字符</td> 
  </tr> 
  <tr> 
   <td>95</td> 
   <td>_</td> 
   <td>下划线</td> 
  </tr> 
  <tr> 
   <td>96</td> 
   <td>`</td> 
   <td>开单引号</td> 
  </tr> 
  <tr> 
   <td>97</td> 
   <td>a</td> 
   <td>小写字母a</td> 
  </tr> 
  <tr> 
   <td>98</td> 
   <td>b</td> 
   <td>小写字母b</td> 
  </tr> 
  <tr> 
   <td>99</td> 
   <td>c</td> 
   <td>小写字母c</td> 
  </tr> 
  <tr> 
   <td>100</td> 
   <td>d</td> 
   <td>小写字母d</td> 
  </tr> 
  <tr> 
   <td>101</td> 
   <td>e</td> 
   <td>小写字母e</td> 
  </tr> 
  <tr> 
   <td>102</td> 
   <td>f</td> 
   <td>小写字母f</td> 
  </tr> 
  <tr> 
   <td>103</td> 
   <td>g</td> 
   <td>小写字母g</td> 
  </tr> 
  <tr> 
   <td>104</td> 
   <td>h</td> 
   <td>小写字母h</td> 
  </tr> 
  <tr> 
   <td>105</td> 
   <td>i</td> 
   <td>小写字母i</td> 
  </tr> 
  <tr> 
   <td>106</td> 
   <td>j</td> 
   <td>小写字母j</td> 
  </tr> 
  <tr> 
   <td>107</td> 
   <td>k</td> 
   <td>小写字母k</td> 
  </tr> 
  <tr> 
   <td>108</td> 
   <td>l</td> 
   <td>小写字母i</td> 
  </tr> 
  <tr> 
   <td>109</td> 
   <td>m</td> 
   <td>小写字母m</td> 
  </tr> 
  <tr> 
   <td>110</td> 
   <td>n</td> 
   <td>小写字母n</td> 
  </tr> 
  <tr> 
   <td>111</td> 
   <td>o</td> 
   <td>小写字母o</td> 
  </tr> 
  <tr> 
   <td>112</td> 
   <td>p</td> 
   <td>小写字母p</td> 
  </tr> 
  <tr> 
   <td>113</td> 
   <td>q</td> 
   <td>小写字母q</td> 
  </tr> 
  <tr> 
   <td>114</td> 
   <td>r</td> 
   <td>小写字母r</td> 
  </tr> 
  <tr> 
   <td>115</td> 
   <td>s</td> 
   <td>小写字母s</td> 
  </tr> 
  <tr> 
   <td>116</td> 
   <td>t</td> 
   <td>小写字母t</td> 
  </tr> 
  <tr> 
   <td>117</td> 
   <td>u</td> 
   <td>小写字母u</td> 
  </tr> 
  <tr> 
   <td>118</td> 
   <td>v</td> 
   <td>小写字母v</td> 
  </tr> 
  <tr> 
   <td>119</td> 
   <td>w</td> 
   <td>小写字母w</td> 
  </tr> 
  <tr> 
   <td>120</td> 
   <td>x</td> 
   <td>小写字母x</td> 
  </tr> 
  <tr> 
   <td>121</td> 
   <td>y</td> 
   <td>小写字母y</td> 
  </tr> 
  <tr> 
   <td>122</td> 
   <td>z</td> 
   <td>小写字母z</td> 
  </tr> 
  <tr> 
   <td>123</td> 
   <td>{ </td> 
   <td>开花括号</td> 
  </tr> 
  <tr> 
   <td>124</td> 
   <td></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>125</td> 
   <td>}</td> 
   <td>闭花括号</td> 
  </tr> 
  <tr> 
   <td>126</td> 
   <td>~</td> 
   <td>波浪号</td> 
  </tr> 
  <tr> 
   <td>127</td> 
   <td>DEL (delete)</td> 
   <td>删除</td> 
  </tr> 
 </tbody> 
</table>

## 问题 ##

在英语中，使用128个符号编码便可以表示所有，但是用来表示其他语言，128个符号是不够的。比如，在法语中字母上方有注音符号，它就无法使用ASCII码表示。因此，部分欧洲国家使用字节中闲置的最高位编入新的符号，最多可以表示256个字符，但是，256个字符对于字符超出这个数字的国家就不适用了，比如中国的汉字统计多大10万左右。一个字节最多只能表示256个字符，肯定是不够，要想解决这个问题，就必须使用多个字节表达一个符号。

# Unicode #

## 简介 ##

统一码，也称万国码、单一码（Unicode）是计算机领域里的一项业界标准，包括字符集、编码方案等。Unicode是为了解决传统的字符编码方案的局限而产生的，它为每种语言的每个字符设定了统一并且唯一的二进制编码，以满足跨语言、跨平台进行文本转换、处理的要求。

## 编码方式 ##

Unicode用数字0-0x10FFFF来映射这些字符，最多可以容纳1114112个字符/码位。码位就是可以分配给这些字符的数字。**UTF-8、UTF-16、UTF-32都是讲这些数字转换到程序数据的编码方案。**  
Unicode字符集早期的标准有UCS-2、UCS-4的说法。UCS-2用2个字节编码，UCS-4用4个字节编码。UCS-4根据最高位为0的最高字节分成2^7=128个group。每个group再根据次高字节分为256个平面（plane）。每个平面根据第3个字节分为256行（row），每行有256个码位（cell）。group 0的平面0被称为BMP（Basic Multilingual Plance）。将UCS-4的BMP去掉前面的两个零字节就得到了UCS-2。  
每个平面有2^16=65536个码位。Unicode计划使用了17个平面，一共16\*65526=1114114个码为。在Unicode5.0.0版本中，已定义的码位只有238605个，分布在平面0、平面1、平面2、平面14、平面15、平面16。其中平面15个平面16只是定义了两个各占65534个码位的专用区（Private Use Area），分别是0xF0000-0xFFFFD和0x100000-0x10FFFD。所谓专区就是保留给大家放自定义字符的区域，简写PUA。

## 实现方式 ##

在Unicode中：汉字“字”对应的数字是23383。在Unicode中，我们有很多方式将数字23383表示成程序中的数据，包括：UTF-8、UTF-16、UTF-32。UTF是“UCS Transformation Format”的缩写，可以翻译成Unicode字符集转换格式，即怎样将Unicode定义的数字转换成程序数据。例如，“汉字”对应的数字是0x6c49和0x5b57，而编码的程序数据是：  
BYTE data\_utf8\[\] = \{0xE6, 0xB1, 0x89, 0xE5, 0xAD, 0x97\}; // UTF-8编码  
WORD data\_utf16\[\] = \{0x6c49, 0x5b57\}; // UTF-16编码  
DWORD data\_utf32\[\] = \{0x6c49, 0x5b57\}; // UTF-32编码  
这里用BYTE、WORD、DWORD分别表示无符号8位整数，无符号16位整数和无符号32位整数。UTF-8、UTF-16、UTF-32分别以BYTE、WORD、DWORD作为编码单位。“汉字”的UTF-8编码需要6个字节。“汉字”的UTF-16编码需要两个WORD，大小是4个字节。“汉字”的UTF-32编码需要两个DWORD，大小是8个字节。根据字节序的不同，UTF-16可以被实现为UTF-16LE或UTF-16BE，UTF-32可以被实现为UTF-32LE或UTF-32BE。

# UTF-8 #

## 简介 ##

UTF-8（8位元，Universal Character Set/Unicode Transformation Format）是针对Unicode的一种可变长度字符编码。它可以用来表示Unicode标准中的任意字符，而且其编码中的第一个字节仍然与ASCII相容，使得原先处理ASCII字符的软件无需或者只需要进行少部分的修改后，便可继续使用。因此，它逐渐成为电子邮件、网页及其他存储或传送文字的应用中，优先采用的编码。

## 编码字节数 ##

UTF-8使用1-4字节为每个字符编码：

*  一个US-ASCIl字符只需1字节编码（Unicode范围由U+0000~U+007F）。
 *  带有变音符号的拉丁文、希腊文、西里尔字母、亚美尼亚语、希伯来文、阿拉伯文、叙利亚文等字母则需要2字节编码（Unicode范围由U+0080~U+07FF）。
 *  其他语言的字符（包括中日韩文字、东南亚文字、中东文字等）包含了大部分常用字，使用3字节编码。
 *  其他极少使用的语言字符使用4字节编码。

## 字符集 ##

\\xE1-\\xEC \\x80-\\xBF \\x80-\\xBF  
\\xED \\x80-\\x9F \\x80-\\xBF  
\\xEE-\\xEF \\x80-\\xBF \\x80-\\xBF |  
| UTF8-4 | \\xF0 \\x90-\\xBF \\x80-\\xBF \\x80-\\xBF  
\\xF1-\\xF3 \\x80-\\xBF \\x80-\\xBF \\x80-\\xBF  
\\xF4 \\x80-\\x8F \\x80-\\xBF \\x80-\\xBF |

# 总结 #

## 对比 ##

<table> 
 <thead> 
  <tr> 
   <th><strong>编码</strong></th> 
   <th><strong>大小</strong></th> 
   <th><strong>支持语言</strong></th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>ASCII</td> 
   <td>1个字节</td> 
   <td>英文</td> 
  </tr> 
  <tr> 
   <td>Unicode</td> 
   <td>2个字节（生僻字4个字节）</td> 
   <td>所有语言</td> 
  </tr> 
  <tr> 
   <td>UTF-8</td> 
   <td>1-6个字节，英文1个字节、汉子3个字节、生僻字4-6个字节</td> 
   <td>所有语言</td> 
  </tr> 
 </tbody> 
</table>

## 计算机系统通用的字符编码方式 ##

在计算机内存中，统一使用Unicode编码，当需要保存到硬盘或者需要传输的时候，就转换为UTF-8编码

### 场景一： ###

用记事本编辑文本时，从文件读取的UTF-8字符被转换为Unicode字符到内存里，编辑完成后，保存的时候再把Unicode转换为UTF-8保存到文件中。

### 场景二： ###

浏览网页时，服务会把动态生成的Unicode内容转换为UTF-8再传输给浏览器。