不懂编码？这篇文章带你一次性了解。

╰+攻爆jí腚メ 2023-10-07 20:14 50阅读 0赞

![ec0fad48c055bc48950e38522f357115.png][]

点击上方蓝字关注我们

**1** **什么是 ASCII？**

![ea7856468907b07309073463b3841612.png][]

![11ff23540f4422b29d14ac4f83a88d1c.png][]

ASCII（ American Standard Code for InformationInterchange，美国信息交换 标准代码）是基于拉丁字母的⼀套电脑编码系统，主要⽤于显⽰现代英语和其他西欧语⾔。它是现今最通⽤的单字节编码系统，并等同于国际标准 ISO/IEC646。标准 ASCII 码也叫基础 ASCII 码，使⽤7 位⼆进制数（ 剩下的 1 位⼆进制为 0） 来表⽰所有的⼤写和⼩写字母， 数字 0 到 9、 标点符号，以及在美式英语中使⽤的特殊 控制字符。

其中：

0～31 及 127(共 33 个)是控制字符或通信专⽤字符（ 其余为可显⽰字符） ， 如控制 符：LF（ 换⾏） 、 CR（ 回车） 、 FF（ 换页） 、 DEL（ 删除） 、 BS（ 退格)、 BEL（ 响铃） 等；通信专⽤字符：SOH（ ⽂头） 、 EOT（ ⽂尾） 、 ACK（ 确认）等；ASCII 值为 8、 9、 10 和 13 分别转换为退格、制表、换⾏和回车字符。它们并没有特定的图形显⽰，但会依不同的应⽤程序，⽽对⽂本显⽰有不同的影响: 32～126(共 95 个)是字符(32 是空格） ， 其中 48～57 为 0 到 9⼗个阿拉伯数字。65～90 为 26 个⼤写英⽂字母， 97～122 号为 26 个⼩写英⽂字母， 其余为⼀些标 点符号、 运算符号等。

![7c5732a03981da65e8eb34b169785be4.png][]

![28d5d24b25d415ee2e5395f02a8c1141.png][]

![fc41d5b6682d054828afffaadad0a460.png][]

**2** **什么是 Unicode？**

![83d3abe5a45d888d45b568ba3db37b15.png][]

![0463b93c160645dacfdeeb0ac050dfd3.png][]

ASCII 码，只有 256 个字符，美国人倒是没啥问题了，他们用到的字符几乎都包括了， 但是世界上不只有美国程序员啊，所以需要一种更加全面的字符集。Unicode（中文：万国码、国际码、统一码、单一码）是计算机科学领域里的一项业 界标准。它对世界上大部分的文字系统进行了整理、编码，使得计算机可以用更为简单的方 式来呈现和处理文字。

Unicode 伴随着通用字符集的标准而发展，同时也以书本的形式对外发表。Unicode 至今仍在不断增修，每个新版本都加入更多新的字符。目前最新的版本为 2018 年 6 月 5 日公布的 11.0.0，已经收录超过 13 万个字符（第十万个字符在 2005 年获采纳）。Unicode 涵盖的数据除了视觉上的字形、编码方法、标准的字符编码外，还包含了字符特 性，如大小写字母。Unicode 发展由非营利机构统一码联盟负责，该机构致力于让 Unicode 方案取代既有 的字符编码方案。因为既有的方案往往空间非常有限，亦不适用于多语环境。Unicode 备受认可，并广泛地应用于计算机软件的国际化与本地化过程。有很多新科 技，如可扩展置标语言（Extensible Markup Language，简称：XML）、Java 编程语 言以及现代的操作系统，都采用 Unicode 编码。

Unicode 可以表示中文。

![0a3c9bf99e4e168e6f034ace3f4b9a08.png][]

![ff797ac047f00b7a729d2783a9d6c681.png][]

![87b518c9f93728274ff37ee0d2fa34bc.png][]

**3** **有了 Unicode 为啥还需要 UTF-8？**

![d297dda0ce233b10f9e1aaecbb53279a.png][]

![52dc3e9c92e631584ed9acf30103fab6.png][]

广义的 Unicode 是一个标准，定义了一个字符集以及一系列的编码规则，即 Unicode 字符集和 UTF-8、UTF-16、UTF-32 等等编码规则。Unicode 是字符集。UTF-8 是编码规则。unicode 虽然统一了全世界字符的二进制编码，但没有规定如何存储。如果 Unicode 统一规定，每个符号就要用三个或四个字节表示，因为字符太多，只能 用这么多字节才能表示完全。一旦这么规定，那么每个英文字母前都必然有二到三个字节是 0，因为所有英文字母在 ASCII 中都有，都可以用一个字节表示，剩余字节位置就要补充 0。如果这样，文本文件的大小会因此大出二三倍，这对于存储来说是极大的浪费。这样导 致一个后果：出现了 Unicode 的多种存储方式。UTF-8 就是 Unicode 的一个使用方式，通过他的英文名 Unicode Tranformation Format 就可以知道。

UTF-8 使用可变长度字节来储存 Unicode 字符，例如 ASCII 字母继续使用 1 字节储 存，重音文字、希腊字母或西里尔字母等使用 2 字节来储存，而常用的汉字就要使用 3 字 节。辅助平面字符则使用 4 字节。一般情况下，同一个地区只会出现一种文字类型，比如中文地区一般很少出现韩文，日 文等。所以使用这种编码方式可以大大节省空间。比如纯英文网站就要比纯中文网站占用的 存储小一些。

![cb06a4ebf5b5a234be1ec584ac8ef476.png][]

![f11cfaf454853415534f38f2a3643067.png][]

![8690cd720f550b45bc14e9c4230b4e2f.png][]

**4** **UTF8、UTF16、UTF32 的区别？**

![cda5989b459b995d909e607d15e60b18.png][]

![a2cc0b37bb9b242c4a4d67f657ec806c.png][]

Unicode 是容纳世界所有文字符号的国际标准编码，使用四个字节为每个字符编码。UTF 是英文 Unicode Transformation Format 的缩写，意为把 Unicode 字符转 换为某种格式。UTF 系列编码方案（UTF-8、UTF-16、UTF-32）均是由 Unicode 编码方案衍变而来，以适应不同的数据存储或传递，它们都可以完全表示 Unicode 标准 中的所有字符。目前，这些衍变方案中 UTF-8 被广泛使用，而 UTF-16 和 UTF-32 则很少被使用。UTF-8 使用一至四个字节为每个字符编码，其中大部分汉字采用三个字节编码，少量 不常用汉字采用四个字节编码。因为 UTF-8 是可变长度的编码方式，相对于 Unicode 编码可以减少存储占用的空间，所以被广泛使用。UTF-16 使用二或四个字节为每个字符编码，其中大部分汉字采用两个字节编码，少 量不常用汉字采用四个字节编码。UTF-16 编码有大尾序和小尾序之别，即 UTF-16BE 和 UTF-16LE，在编码前会放置一个 U+FEFF 或 U+FFFE（UTF-16BE 以 FEFF 代表，UTF-16LE 以 FFFE 代表），其中 U+FEFF 字符在 Unicode 中代表的意义是 ZERO WIDTH NO-BREAK SPACE，顾名思义，它是个没有宽度也没有断字的空白。UTF-32 使用四个字节为每个字符编码，使得 UTF-32 占用空间通常会是其它编码 的二到四倍。UTF-32 与 UTF-16 一样有大尾序和小尾序之别，编码前会放置 U+000 0FEFF 或 U+0000FFFE 以区分。

![4c28913c3b1e83c1635d575307ca9362.png][]

![51645e7b19c4ef4e5f2ca16090b76b6e.png][]

![6a0c96f8861faebb4c198bb41fcc13e2.png][]

**5** **有了 UTF8 为什么还需要 GBK？**

![0281a94bac825d89c0f266f4bea70eef.png][]

![c477f9785de0fecacfda5f909a5d083e.png][]

其实 UTF8 确实已经是国际通用的字符编码了，但是这种字符标准毕竟是外国定的， 而国内也有类似的标准指定组织，也需要制定一套国内通用的标准，于是 GBK 就诞生了。GBK、GB2312、GB18030 之间的区别 三者都是支持中文字符的编码方式，最常用的是 GBK。以下内容来自 CSDN，介绍的比较详细。GB2312（1980 年）：16 位字符集，收录有 6763 个简体汉字，682 个符号，共 74 45 个字符；优点：适用于简体中文环境，属于中国国家标准，通行于大陆，新加坡等地也 使用此编码；缺点：不兼容繁体中文，其汉字集合过少。GBK（1995 年）：16 位字符集，收录有 21003 个汉字，883 个符号，共 21886 个 字符；优点：适用于简繁中文共存的环境，为简体 Windows 所使用（代码页 cp936）， 向下完全兼容 gb2312，向上支持 ISO-10646 国际标准 ；所有字符都可以一对一映射到 unicode2.0 上；缺点：不属于官方标准，和 big5 之间需要转换；很多搜索引擎都不能很 好地支持 GBK 汉字。GB18030（2000 年）：32 位字符集；收录了 27484 个汉字，同时收录了藏文、蒙 文、维吾尔文等主要的少数民族文字。优点：可以收录所有你能想到的文字和符号，属于 中国最新的国家标准；缺点：目前支持它的软件较少。

![9a3c975dc3c97abb57e02cfdd237e34f.png][]

![842b619c9d062cfccefb480e8049e3c3.png][]

![e4858af4eaed2c912320be8221079cf9.png][]

**6** **URL 编解码**

![ab64f887d29290421c1e0d59bf7b51ee.png][]

![3dd672dba0aff0301fddfd84bc3b656c.png][]

网络标准 RFC 1738 做了硬性规定 :只有字母和数字\[0-9a-zA-Z\]、一些特殊符号 “$-\_.+!\*'(),”\[不包括双引号\]、以及某些保留字，才可以不经过编码直接用于 URL; 除此以外的字符是无法在 URL 中展示的，所以，遇到这种字符，如中文，就需要进行 编码。所以，把带有特殊字符的 URL 转成可以显示的 URL 过程，称之为 URL 编码。反之，就是解码。U R L 编 码 可 以 使 用 不 同 的 方 式 ， 如 e s c a p e ， U R L E n c o d e ， encodeURIComponent。

![54ff83e963edeb3ade85e4758c2d13f7.png][]

![4c9f7ad419d5e83319d0f83e275598bd.png][]

![c6fe983fd07511db6a258eb36b3fd745.png][]

**7** **Big Endian 和 Little Endian**

![c820108b7f2a5d089463d6e01391bbc5.png][]

![0016338c7a3492030b3dd7bc95fa5dc4.png][]

字节序，也就是字节的顺序，指的是多字节的数据在内存中的存放顺序。在几乎所有的机器上，多字节对象都被存储为连续的字节序列。例如：如果 C/C++中 的一个 int 型变量 a 的起始地址是&a = 0x100，那么 a 的四个字节将被存储在存储器的 0x100, 0x101, 0x102, 0x103 位置。根据整数 a 在连续的 4 byte 内存中的存储顺序，字节序被分为大端序（Big Endian） 与 小端序（Little Endian）两类。Big Endian 是指低地址端 存放 高位字节。Little Endian 是指低地址端 存放低位 字节。比如数字 0x12345678 在两种不同字节序 CPU 中的存储顺序：Big Endian：12345678 Little Endian ：78563412 Java 采用 Big Endian 来存储数据、C\\C++采用 Little Endian。在网络传输一般采 用的网络字节序是 BIG-ENDIAN。和 Java 是一致的。所以在用 C/C++写通信程序时，在发送数据前务必把整型和短整型的数据进行从主机 字节序到网络字节序的转换，而接收数据后对于整型和短整型数据则必须实现从网络字节序 到主机字节序的转换。如果通信的一方是 JAVA 程序、一方是 C/C++程序时，则需要在 C/C++一侧使用以上几个方法进行字节序的转换，而 JAVA 一侧，则不需要做任何处理， 因为 JAVA 字节序与网络字节序都是 BIG-ENDIAN，只要 C/C++一侧能正确进行转换即 可（发送前从主机序到网络序，接收时反变换）。如果通信的双方都是 JAVA，则根本不 用考虑字节序的问题了

![e1d2d84c0c5924fd3d640c6f9d043025.png][]

![c9796973d551b8b136c1872ddd4d581c.png][]

![c9764f3a885caedbe4c51b9247606ade.png][]

[ec0fad48c055bc48950e38522f357115.png]: https://img-blog.csdnimg.cn/img_convert/ec0fad48c055bc48950e38522f357115.png
[ea7856468907b07309073463b3841612.png]: https://img-blog.csdnimg.cn/img_convert/ea7856468907b07309073463b3841612.png
[11ff23540f4422b29d14ac4f83a88d1c.png]: https://img-blog.csdnimg.cn/img_convert/11ff23540f4422b29d14ac4f83a88d1c.png
[7c5732a03981da65e8eb34b169785be4.png]: https://img-blog.csdnimg.cn/img_convert/7c5732a03981da65e8eb34b169785be4.png
[28d5d24b25d415ee2e5395f02a8c1141.png]: https://img-blog.csdnimg.cn/img_convert/28d5d24b25d415ee2e5395f02a8c1141.png
[fc41d5b6682d054828afffaadad0a460.png]: https://img-blog.csdnimg.cn/img_convert/fc41d5b6682d054828afffaadad0a460.png
[83d3abe5a45d888d45b568ba3db37b15.png]: https://img-blog.csdnimg.cn/img_convert/83d3abe5a45d888d45b568ba3db37b15.png
[0463b93c160645dacfdeeb0ac050dfd3.png]: https://img-blog.csdnimg.cn/img_convert/0463b93c160645dacfdeeb0ac050dfd3.png
[0a3c9bf99e4e168e6f034ace3f4b9a08.png]: https://img-blog.csdnimg.cn/img_convert/0a3c9bf99e4e168e6f034ace3f4b9a08.png
[ff797ac047f00b7a729d2783a9d6c681.png]: https://img-blog.csdnimg.cn/img_convert/ff797ac047f00b7a729d2783a9d6c681.png
[87b518c9f93728274ff37ee0d2fa34bc.png]: https://img-blog.csdnimg.cn/img_convert/87b518c9f93728274ff37ee0d2fa34bc.png
[d297dda0ce233b10f9e1aaecbb53279a.png]: https://img-blog.csdnimg.cn/img_convert/d297dda0ce233b10f9e1aaecbb53279a.png
[52dc3e9c92e631584ed9acf30103fab6.png]: https://img-blog.csdnimg.cn/img_convert/52dc3e9c92e631584ed9acf30103fab6.png
[cb06a4ebf5b5a234be1ec584ac8ef476.png]: https://img-blog.csdnimg.cn/img_convert/cb06a4ebf5b5a234be1ec584ac8ef476.png
[f11cfaf454853415534f38f2a3643067.png]: https://img-blog.csdnimg.cn/img_convert/f11cfaf454853415534f38f2a3643067.png
[8690cd720f550b45bc14e9c4230b4e2f.png]: https://img-blog.csdnimg.cn/img_convert/8690cd720f550b45bc14e9c4230b4e2f.png
[cda5989b459b995d909e607d15e60b18.png]: https://img-blog.csdnimg.cn/img_convert/cda5989b459b995d909e607d15e60b18.png
[a2cc0b37bb9b242c4a4d67f657ec806c.png]: https://img-blog.csdnimg.cn/img_convert/a2cc0b37bb9b242c4a4d67f657ec806c.png
[4c28913c3b1e83c1635d575307ca9362.png]: https://img-blog.csdnimg.cn/img_convert/4c28913c3b1e83c1635d575307ca9362.png
[51645e7b19c4ef4e5f2ca16090b76b6e.png]: https://img-blog.csdnimg.cn/img_convert/51645e7b19c4ef4e5f2ca16090b76b6e.png
[6a0c96f8861faebb4c198bb41fcc13e2.png]: https://img-blog.csdnimg.cn/img_convert/6a0c96f8861faebb4c198bb41fcc13e2.png
[0281a94bac825d89c0f266f4bea70eef.png]: https://img-blog.csdnimg.cn/img_convert/0281a94bac825d89c0f266f4bea70eef.png
[c477f9785de0fecacfda5f909a5d083e.png]: https://img-blog.csdnimg.cn/img_convert/c477f9785de0fecacfda5f909a5d083e.png
[9a3c975dc3c97abb57e02cfdd237e34f.png]: https://img-blog.csdnimg.cn/img_convert/9a3c975dc3c97abb57e02cfdd237e34f.png
[842b619c9d062cfccefb480e8049e3c3.png]: https://img-blog.csdnimg.cn/img_convert/842b619c9d062cfccefb480e8049e3c3.png
[e4858af4eaed2c912320be8221079cf9.png]: https://img-blog.csdnimg.cn/img_convert/e4858af4eaed2c912320be8221079cf9.png
[ab64f887d29290421c1e0d59bf7b51ee.png]: https://img-blog.csdnimg.cn/img_convert/ab64f887d29290421c1e0d59bf7b51ee.png
[3dd672dba0aff0301fddfd84bc3b656c.png]: https://img-blog.csdnimg.cn/img_convert/3dd672dba0aff0301fddfd84bc3b656c.png
[54ff83e963edeb3ade85e4758c2d13f7.png]: https://img-blog.csdnimg.cn/img_convert/54ff83e963edeb3ade85e4758c2d13f7.png
[4c9f7ad419d5e83319d0f83e275598bd.png]: https://img-blog.csdnimg.cn/img_convert/4c9f7ad419d5e83319d0f83e275598bd.png
[c6fe983fd07511db6a258eb36b3fd745.png]: https://img-blog.csdnimg.cn/img_convert/c6fe983fd07511db6a258eb36b3fd745.png
[c820108b7f2a5d089463d6e01391bbc5.png]: https://img-blog.csdnimg.cn/img_convert/c820108b7f2a5d089463d6e01391bbc5.png
[0016338c7a3492030b3dd7bc95fa5dc4.png]: https://img-blog.csdnimg.cn/img_convert/0016338c7a3492030b3dd7bc95fa5dc4.png
[e1d2d84c0c5924fd3d640c6f9d043025.png]: https://img-blog.csdnimg.cn/img_convert/e1d2d84c0c5924fd3d640c6f9d043025.png
[c9796973d551b8b136c1872ddd4d581c.png]: https://img-blog.csdnimg.cn/img_convert/c9796973d551b8b136c1872ddd4d581c.png
[c9764f3a885caedbe4c51b9247606ade.png]: https://img-blog.csdnimg.cn/img_convert/c9764f3a885caedbe4c51b9247606ade.png