[Java] java 的字符集和编码方案

忘是亡心i 2022-06-18 04:45 153阅读 0赞

Java使用内在的Unicode 表示字符。Unicode 试图用两个字节来表示世界上的所有字符。 这一点可以从java.nio.charset.CharsetEncoder 类中得到证明，他的encode 方法只接受CharBuffer 类型的参数。在java 中一个Char 等于两个字节。

Unicode 的固有支持大大的简化了字符数据处理，但决不是自动的处理字符。您仍需要理解字符映射的工作原理以及如何处理多个字符集。

下面是4 个基本概念：  
1 Character set（字符集） 字符的集合，也就是，带有特殊语义的符号。字母“A”是一个字符。“%”也是一个字符。没有内在数字价值，与ASCII，Unicode没关系，甚至和电脑也没有任何的直接联系。在电脑产生前，符号就已经存在了。(这里指的就是语言文字，如汉字"我"，可以理解为中文的一个字符)

2 Coded character set（被编码的字符集合） 为每个字符集中的字符都指定一个数值(如字符A，可能用数值‘32’来表示)。可以对同一个字符集指定多个被编码的字符集。实际上“被编码的字符集” 也可以被称为字符集映射（Character set mapping），因为它把字符集和数值映射起来了。一般字符集映射由标准的组织定义的，如USASCII, ISO 8859-1, Unicode (ISO 10646-1), and JIS X0201 都是被编码的字符集合。

3 Character-encoding scheme （字符编码方案）是一个一个映射，把被编码的字符集合中的数字（这个数字表示一个字符）映射到八位字节（8 bit字节）的数组中。编码方案定义了如何把字符编码的序列表达为字节序列。字符编码的数值不需要与编码字节相同，也不需要是一对一或一对多个的关系。原则上，把字符集编码和解码近似视为对象的序列化和反序列化。

4 什么是 Charset： Charset 是一个专有名词，他包括 1 被编码的字符集 和 2编码方案。在java 中，用 java.nio.charset 包中的 Charset 类来表示。

可以这样理解： 字符集天然存在，如我们的汉语中的字。但是计算机只能处理0和1，所以必须对字符集编码，变成数字，计算机就能存储和识别了，这样计算机就知道是那个字了。但是为什么要存在字符编码方案呢？  
原因有两点：  
1 虽然我们对字符编码了，但是当需要存储或在网络上传输字符的时候，以这种编码来做合适吗？不一定合适吧。  
2 目前的操作系统都是面向字节的，所以在字符集编码和字节序列之间需要一中转换。

下面来看看例子：

package aaa;
    
    import java.nio.ByteBuffer;
    import java.nio.charset.Charset;
    
    public class CharsetTest {
    	/**
    	 * @param args
    	 */
    	public static void main(String[] args) {
    //		String input = "\u00bfMa\u00f1ana?";
    		String input = "我我a";
    		String[] charsetNames = { "US-ASCII", "ISO-8859-1", "UTF-8",
    				"UTF-16BE", "UTF-16LE", "UTF-16" // , "X-ROT13"
    		};
    		for (int i = 0; i < charsetNames.length; i++) {
    			doEncode(Charset.forName(charsetNames[i]), input);
    		}
    	}
    
    	private static void doEncode(Charset cs, String input) {
    		cs.newEncoder();
    		ByteBuffer bb = cs.encode(input);
    		System.out.println("Charset: " + cs.name());
    		System.out.println("  Input: " + input);
    		System.out.println("Encoded: ");
    		for (int i = 0; bb.hasRemaining(); i++) {
    			int b = bb.get( );
    			int ival = ((int) b) & 0xff;
    			char c = (char) ival;
    
    			// Keep tabular alignment pretty
    			if (i < 10)
    				System.out.print(" ");
    			// Print index number
    			System.out.print(" " + i + ": ");
    			// Better formatted output is coming someday...
    			if (ival < 16)
    				System.out.print("0");
    			// Print the hex value of the byte
    			System.out.print(Integer.toHexString(ival));
    			// If the byte seems to be the value of a
    			// printable character, print it. No guarantee
    			// it will be.
    			if (Character.isWhitespace(c) || Character.isISOControl(c)) {
    				System.out.println("");
    			} else {
    				System.out.println(" (" + c + ")");
    			}
    		}
    		System.out.println ("");
    	}
    }

运行代码，可以在控制台上看到如下结果：

Charset: US-ASCII  
Input: 我我a  
Encoded:  
0: 3f (?)  
1: 3f (?)  
2: 61 (a)

// 分析： 因为ASCII 只识别char 中的最后7位，所以三个字符产生了三个字节。a 是ASCII 的字符，所以可以识别，正确编码。

Charset: ISO-8859-1  
Input: 我我a  
Encoded:  
0: 3f (?)  
1: 3f (?)  
2: 61 (a)

Charset: UTF-8  
Input: 我我a  
Encoded:  
0: e6 (æ)  
1: 88  
2: 91  
3: e6 (æ)  
4: 88  
5: 91  
6: 61 (a)

// 分析： UTF-8 是不定长的编码，他把下于0x80 的字符（这里指java 的字符，占两个字节）编码成一个字节，而大于0x80 的字符编码成2到6个字节。本例中，把“我”编码成3个字节，"a" 编码成1个字节。

Charset: UTF-16BE  
Input: 我我a  
Encoded:  
0: 62 (b)  
1: 11  
2: 62 (b)  
3: 11  
4: 00  
5: 61 (a)

// 分析： UTF-16 系列，把字符编码为2个字节。 所以共6个字节。

Charset: UTF-16LE  
Input: 我我a  
Encoded:  
0: 11  
1: 62 (b)  
2: 11  
3: 62 (b)  
4: 61 (a)  
5: 00

Charset: UTF-16  
Input: 我我a  
Encoded:  
0: fe (þ)  
1: ff (ÿ)  
2: 62 (b)  
3: 11  
4: 62 (b)  
5: 11  
6: 00  
7: 61 (a)

// 分析： 由于使用UTF-16，没有指定编码后两个字节的顺序，所以多了两个字节，表示采用字节顺序。fe ff 指定了顺序。

我的对java 的编码过程也不是很理解，欢迎大家讨论！