字符编码及字节串bytes类型
1 字符编码简介
ASCII码:美国人发明并使用,用1个字节(8位二进制)代表一个字符,ASCII码是其他任意编码表的子集(utf-16除外).
Unicode:包含和兼容全世界的语言,与全世界的语言都有映射关系,常用2个字节表示一个字符,1个生僻字用4个字节表示.
utf-8:可变长编码,英文用1个字节表示,汉字通常是3个字节,生僻字常用4-6个字节表示,uft-8比Unicode编码节省空间和I/O开销.
关于Unicode和utf-x格式之间的关系,可以认为utf-x是Unicode的一种特殊类型,在存取数据时,内部会自动在Unicode和utf-x之间转换.
在内存中,统一使用的都是Unicode编码(固定,集成在操作系统中),所以可以转换为任意其他国家自定义的编码(这样就不会乱码);在将数据存入硬盘时,需要将Unicode转换为一种更精准的格式,即utf-8,将数据控制在最精准和节省空间;而磁盘数据读入缓存到内存中时,则需要将utf-8转换为Unicode.
在python2.x中,默认使用ASCII编码作为字符编码;而在python3.x中,默认使用Unicode作为默认字符编码.
import sysprint(sys.getdefaultencoding())'ascii' #python2.x默认字符编码---------------------------------import sysprint(sys.getdefaultencoding())'utf-8' #python3.x默认字符编码---------------------------------U=u'阿凡达' #3*3=9字节,8*9=72bytesU1=bytes(U,'utf-8')print(U1) # 构造Unicode字符,结果是 b'\xe9\x98\xbf\xe5\x87\xa1\xe8\xbe\xbe',\x代表16进制存储,1个字符代表4byte,18*4=72bytes
1.1 字符编码和解码
两张图读懂字符编码与解码之间的关系,编码和解码对应,就不会出现乱码了,参考资料及图片来源:
https://www.cnblogs.com/f-ck-need-u/p/10185965.html
https://www.cnblogs.com/linhaifeng/articles/5950339.html
编码: str ---> bytes (encode)解码: bytes ---> str (decode)二进制格式的数据也常称为裸数据(raw data)，str数据经过编码后得到raw data，raw data解码后得到的str.内存中是unicode-------->encode编码保存-------->utf-8保存到磁盘(二进制)utf-8磁盘里保存-------->decode解码缓存到内存中---------->unicode内存中注意: 编码和解码的过程中,与软件指定的编码(字符集)也有关系,必须对应.######################print((set(dir(str)))-set(dir(bytes))) #字符串类型只有编码encode()方法,没有解码decode()print((set(dir(bytes)))-set(dir(str))) #字节串类型只有解码decode()方法,没有编码encode()--------------------{'format', 'isdecimal', 'casefold', 'format_map', 'isidentifier', 'isnumeric', 'isprintable', 'encode'}{'hex', 'decode', 'fromhex'}
1.2 str,bytes,bytearray类型
str:字符串类型,有序有索引,序列数据,可以迭代取值,但属于不可变类型,底层存储由一个个二进制组成,也就是bytes.python3.x中str默认是Unicode(uft-8)格式编码.
bytes:字节串类型,二进制字节数据,有序有索引,序列数据,可以迭代取值,也属于不可变类型;将字符串数据存到硬盘的的过程,实质上就是将Unicode转换为utf-8下的二进制字节这样就可以往硬盘存数据(二进制转换为十六进制存),或通过网络方式传输到其他地方.
bytearray:可变的字节串类型,属于可变的二进制数据(bytes),属于可变类型.
import sys #python3.x下查看默认字符编码为 utf-8print(sys.getdefaultencoding()) #结果是 utf-8----------------------------B=b'aaa'print(type(B),B) #构造bytes类型,需在字符串前加 b ,结果是<class 'bytes'> b'aaa'----------------------------B=b'aaa' # 构造bytearray类型及改值By=bytearray(B)print(type(By),By)print(list(i for i in By))By[0]=98 #改值print(By) #By=b'baa',a子串值已改变-------构造bytearray结果<class 'bytearray'> bytearray(b'aaa')[97, 97, 97]bytearray(b'baa')
1.3 乱码的原因及解决办法
文件从内存写到硬盘的操作简称存文件,文件从硬盘读到内存的操作简称读文件.
乱码的原因:
1)存文件时就已经乱码(编辑的字符和编辑器设定保存的字符编码不一致)
2)存文件时不乱码而读文件时乱码(存时的文件字符编码和读时编辑器设定的字符编码不对应)
解决乱码的办法: 字符按照什么标准而编码的，就要按照什么标准解码,即编码和解码对应.
1.4 python文件头指定字符编码
为了避免乱码,在python文件中指定解释器和文件头也是一种方法,文件头指定的编码必须跟python文件存储时用的编码一致.
#!/usr/bin/env python <===指定解释器(限linux)# -*- coding: utf-8 -*- <===指定字符编码(等同于#coding:utf-8)来将数据读入内存,由python解释器解释执行用的字符编码
转载于
//www.cnblogs.com/blog-tim/p/11507947.html
亦凉
我不是女神ヾ
Bertha 。
我会带着你远行
还没有评论，来说两句吧...