【大数据】学习笔记 1 Java SE 第10章基础API与常见算法 10.7 附录

港控/mmm° 2024-03-22 12:18 7阅读 0赞

### 【大数据】学习笔记 ###

#### 文章目录 ####

*   *  【大数据】学习笔记
     *   *  1 Java SE
         *   *  第10章 基础API与常见算法
             *   *  10.7 附录
                 *   *  10.7.1 字符编码的发展
                     *  10.7.2 正则表达式

![在这里插入图片描述][0944e764aa814ecaa3b0785f90555301.png_pic_center]

#### 1 Java SE ####

##### 第10章 基础API与常见算法 #####

###### 10.7 附录 ######

###### 10.7.1 字符编码的发展 ######

【1】**ASCII码**

计算机一开始发明的时候是用来解决数字计算的问题，后来人们发现，计算机还可以做更多的事，例如文本处理。但由于计算机只识“数”，因此人们必须告诉计算机哪个数字来代表哪个特定字符，例如65代表字母‘A’，66代表字母‘B’，以此类推。但是计算机之间字符-数字的对应关系必须得一致，否则就会造成同一段数字在不同计算机上显示出来的字符不一样。因此美国国家标准协会ANSI制定了一个标准，规定了常用字符的集合以及每个字符对应的编号，这就是ASCII字符集（Character Set），也称ASCII码。

那时候的字符编解码系统非常简单，就是简单的查表过程。其中：

*  0～31及127(共33个)是控制字符或通信专用字符（其余为可显示字符），如控制符：LF（换行）、CR（回车）、FF（换页）、DEL（删除）、BS（退格)
 *  32～126(共95个)是字符(32是空格），其中48～57为0到9十个阿拉伯数字。65～90为26个大写英文字母，97～122号为26个小写英文字母，其余为一些标点符号、运算符号等。

【2】**OEM字符集的衍生**

当计算机开始发展起来的时候，人们逐渐发现，ASCII字符集里那可怜的128个字符已经不能再满足他们的需求了。人们就在想，一个字节能够表示的数字（编号）有256个，而ASCII字符只用到了0x00~0x7F，也就是占用了前128个，后面128个数字不用白不用，因此很多人打起了后面这128个数字的主意。可是问题在于，很多人同时有这样的想法，但是大家对于0x80-0xFF这后面的128个数字分别对应什么样的字符，却有各自的想法。这就导致了当时销往世界各地的机器上出现了大量各式各样的OEM字符集。不同的OEM字符集导致人们无法跨机器交流各种文档。例如职员甲发了一封简历résumés给职员乙，结果职员乙看到的却是r?sum?s，因为é字符在职员甲机器上的OEM字符集中对应的字节是0x82，而在职员乙的机器上，由于使用的OEM字符集不同，对0x82字节解码后得到的字符却是?。

【3】**多字节字符集（MBCS）和中文字符集**

上面我们提到的字符集都是基于单字节编码，也就是说，一个字节翻译成一个字符。这对于拉丁语系国家来说可能没有什么问题，因为他们通过扩展第8个比特，就可以得到256个字符了，足够用了。但是对于亚洲国家来说，256个字符是远远不够用的。因此这些国家的人为了用上电脑，又要保持和ASCII字符集的兼容，就发明了多字节编码方式，相应的字符集就称为多字节字符集（Muilti-Bytes Charecter Set）。例如中国使用的就是双字节字符集编码。

例如目前最常用的中文字符集GB2312，涵盖了所有简体字符以及一部分其他字符；GBK（K代表扩展的意思）则在GB2312的基础上加入了对繁体字符等其他非简体字符。这两个字符集的字符都是使用1-2个字节来表示。Windows系统采用936代码页来实现对GBK字符集的编解码。在解析字节流的时候，如果遇到字节的最高位是0的话，那么就使用936代码页中的第1张码表进行解码，这就和单字节字符集的编解码方式一致了。如果遇到字节的最高位是1的话，那么就表示需要两个字节值才能对应一个字符。

![在这里插入图片描述][cfd9795a04824297a6cf7e26c226a8c2.png_pic_center]

【4】**ANSI标准、国家标准、ISO标准**

不同ASCII衍生字符集的出现，让文档交流变得非常困难，因此各种组织都陆续进行了标准化流程。例如美国ANSI组织制定了ANSI标准字符编码（注意，我们现在通常说到ANSI编码，通常指的是平台的默认编码，例如英文操作系统中是ISO-8859-1，中文系统是GBK），ISO组织制定的各种ISO标准字符编码，还有各国也会制定一些国家标准字符集，例如中国的GBK，GB2312和GB18030。

操作系统在发布的时候，通常会往机器里预装这些标准的字符集还有平台专用的字符集，这样只要你的文档是使用标准字符集编写的，通用性就比较高了。例如你用GB2312字符集编写的文档，在中国大陆内的任何机器上都能正确显示。同时，我们也可以在一台机器上阅读多个国家不同语言的文档了，前提是本机必须安装该文档使用的字符集。

【5】**Unicode的出现**

虽然通过使用不同字符集，我们可以在一台机器上查阅不同语言的文档，但是我们仍然**无法解决一个问题：如果一份文档中含有不同国家的不同语言的字符，那么无法在一份文档中显示所有字符**。为了解决这个问题，我们需要一个全人类达成共识的巨大的字符集，这就是Unicode字符集。

Unicode字符集涵盖了目前人类使用的所有字符，并为每个字符进行统一编号，分配唯一的字符码（Code Point）。Unicode字符集将所有字符按照使用上的频繁度划分为17个层面（Plane），每个层面上有216=65536个字符码空间。其中第0个层面BMP，基本涵盖了当今世界用到的所有字符。其他的层面要么是用来表示一些远古时期的文字，要么是留作扩展。我们平常用到的Unicode字符，一般都是位于BMP层面上的。目前Unicode字符集中尚有大量字符空间未使用。

在内存中每一个字符使用它在Unicode字符集中的唯一编码值表示，这是没有问题的。因为Unicode字符集中字符编码值的范围是\[0, 65535\]，在Java的JVM内存中无论这个字符的编码值是多少，都分配2个字节。

但是在其他环境中，例如文件中、IO流中等，Unicode就不完美了，这里有三个的问题，一个是，在文件或IO流中英文字母等ASCII码表中的字符只用一个字节表示，第二个问题是如何才能区别这是Unicode和ASCII，即计算机怎么知道两个字节表示一个符号，而不是分别表示两个符号呢？第三个，如果和GBK等双字节编码方式一样，用最高位是1或0表示两个字节和一个字节，就少了很多值无法用于表示字符，不够表示所有字符。Unicode在很长一段时间内无法推广，直到互联网的出现，为解决Unicode如何在网络上传输的问题，于是面向传输的众多 UTF（UCS Transfer Format）标准出现了，顾名思义，UTF-8就是每次8个位传输数据，而UTF-16就是每次16个位。UTF-8就是在互联网上使用最广的一种Unicode的实现方式，这是为传输而设计的编码，并使编码无国界，这样就可以显示全世界上所有文化的字符了。

UTF-8最大的一个特点，就是它是一种变长的编码方式。它可以使用1~4个字节表示一个符号。从unicode到uft-8并不是直接的对应，而是要过一些算法和规则来转换（**即Uncidoe字符集≠UTF-8编码方式**）。

<table> 
 <thead> 
  <tr> 
   <th align="center">Unicode符号范围(十六进制)</th> 
   <th align="center">UTF-8编码方式 （二进制）</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="center">0000 0000-0000 007F</td> 
   <td align="center">0xxxxxxx（兼容原来的ASCII）</td> 
  </tr> 
  <tr> 
   <td align="center">0000 0080-0000 07FF</td> 
   <td align="center">110xxxxx 10xxxxxx</td> 
  </tr> 
  <tr> 
   <td align="center">0000 0800-0000 FFFF</td> 
   <td align="center">1110xxxx 10xxxxxx 10xxxxxx</td> 
  </tr> 
  <tr> 
   <td align="center">0001 0000-0010 FFFF</td> 
   <td align="center">11110xxx 10xxxxxx 10xxxxxx 10xxxxxx</td> 
  </tr> 
 </tbody> 
</table>

![在这里插入图片描述][c8c40c486b594178a238e53359b0ac96.png_pic_center]

因此，Unicode只是定义了一个庞大的、全球通用的字符集，并为每个字符规定了唯一确定的编号，具体存储成什么样的字节流，取决于字符编码方案。推荐的Unicode编码是UTF-16和UTF-8。

早期字符编码、字符集和代码页等概念都是表达同一个意思。例如GB2312字符集、GB2312编码，936代码页，实际上说的是同个东西。

但是对于Unicode则不同，Unicode字符集只是定义了字符的集合和唯一编号，Unicode编码，则是对UTF-8、UCS-2/UTF-16等具体编码方案的统称而已，并不是具体的编码方案。所以当需要用到字符编码的时候，你可以写gb2312，codepage936，utf-8，utf-16，但请不要写Unicode。

###### 10.7.2 正则表达式 ######

正则表达式，又称规则表达式（英语：Regular Expression，在代码中常简写为regex、regexp或RE）。正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。通常被用来检索、替换那些符合某个模式(规则)的文本。

【1】正则表达式构造摘要

**（1）字符类**

`[abc]`：`a`、`b` 或 `c`（简单类）

`[^abc]`：任何字符，除了 `a`、`b` 或 `c`（否定）

`[a-zA-Z]`：`a` 到 `z` 或 `A` 到 `Z`，两头的字母包括在内（范围）

**（2）预定义字符类**

`.`：任何字符（与行结束符可能匹配也可能不匹配）

`\d`：数字：`[0-9]`

`\D`：非数字： `[^0-9]`

`\s`：空白字符：`[ \t\n\x0B\f\r]`

`\S`：非空白字符：`[^\s]`

`\w`：单词字符：`[a-zA-Z_0-9]`

`\W`：非单词字符：`[^\w]`

**（3）POSIX 字符类（仅 US-ASCII）**

`\p{Lower}`小写字母字符：\[a-z\]

`\p{Upper}`大写字母字符：\[A-Z\]

`\p{ASCII}`所有 ASCII：\[\\x00-\\x7F\]

`\p{Alpha}`字母字符：\[\\p\{Lower\}\\p\{Upper\}\]

`\p{Digit}`十进制数字：\[0-9\]

`\p{Alnum}`字母数字字符：\[\\p\{Alpha\}\\p\{Digit\}\]

`\p{Punct}`标点符号：!"\#$%&'()\*+,-./:;<=>?@\[\]^\_\`\{|\}~

`\p{Blank}`空格或制表符：\[ \\t\]

**（4）边界匹配器**

`^`：行的开头

`$`：行的结尾

**（5）Greedy 数量词**

*X*`?`：*X*，一次或一次也没有

*X*`*`：*X*，零次或多次

*X*`+`：*X*，一次或多次

*X*`{`*n*`}`：*X*，恰好 *n* 次

*X*`{`*n*`,}`：*X*，至少 *n* 次

*X*`{`*n*`,`*m*`}`：*X*，至少 *n* 次，但是不超过 *m* 次

**（6）Logical 运算符**

*XY*：*X* 后跟 *Y*

*X*`|`*Y*：*X* 或 *Y*

`(`*X*`)`：X，作为捕获组

**（7）特殊构造（非捕获）**

(?:X) X，作为非捕获组

(?=X) X，通过零宽度的正 lookahead

(?!X) X，通过零宽度的负 lookahead

(?<=X) X，通过零宽度的正 lookbehind

(?<!X) X，通过零宽度的负 lookbehind

(?>X) X，作为独立的非捕获组

【2】常见的正则表达式示例

*  验证用户名和密码，要求第一个字必须为字母，一共6~16位字母数字下划线组成：`（^[a-zA-Z]\w{5,15}$）`
 *  验证电话号码：xxx/xxxx-xxxxxxx/xxxxxxxx：`（^(\d{3,4}-)\d{7,8}$）`
 *  验证手机号码：`( ^(13[0-9]|14[5|7]|15[0|1|2|3|5|6|7|8|9]|18[0|1|2|3|5|6|7|8|9])\d{8}$ )`
 *  验证身份证号： `(^\d{15}$)|(^\d{18}$)|(^\d{17}(\d|X|x)$)`
 *  验证Email地址：`(^\w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)*$)`
 *  只能输入由数字和26个英文字母组成的字符串：`(^[A-Za-z0-9]+$)`
 *  整数或者小数：`(^[0-9]+(\.\[0-9\]+){0,1}$)`
 *  中文字符的正则表达式：`([\u4e00-\u9fa5])`
 *  金额校验(非零开头的最多带两位小数的数字)：`(^(\[1-9\][0-9]*)+(.[0-9]{1,2})?$)`
 *  IPV4地址：`(((\\d{1,2})|(1\\d{1,2})|(2[0-4]\\d)|(25[0-5]))\\.){3}((\\d{1,2})|(1\\d{1,2})|(2[0-4]\\d)|(25[0-5]))`

[0944e764aa814ecaa3b0785f90555301.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/3c0133a64df14e2896ca8c0b69bca5ad.png
[cfd9795a04824297a6cf7e26c226a8c2.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/39bc0cfba73f4741ac9bfe10dd9f964c.png
[c8c40c486b594178a238e53359b0ac96.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/f3faa67718214d7fb7d4991fd18c4087.png