[Python] 编码问题

╰+攻爆jí腚メ 2022-03-26 10:44 276阅读 0赞

### 文章目录 ###

*  编码问题
 *  Python编程

# 编码问题 #

【背景】

1.  计算机只能处理数字，文字转换为数字才能处理
2.  计算机中8bit作为一个字节，所以一个字节能表示最大的数字就是255

<table> 
 <thead> 
  <tr> 
   <th>常用编码</th> 
   <th>说明</th> 
   <th>问题及其他</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>ASCII</td> 
   <td>一个字节可以表示完26个字母-&gt;ASCII（一个字节）编码就成为美国人的标准编码</td> 
   <td>ASCII用于中文明显不够，中文不止255个汉字</td> 
  </tr> 
  <tr> 
   <td>GB2312</td> 
   <td>用两个字节表示一个汉字</td> 
   <td>日文、韩文等上百种国家为了解决这个问题都发展了一套字节的编码，标准就越来越多，如果出现多种语言混合显示就一定会出现乱码</td> 
  </tr> 
  <tr> 
   <td>unicode</td> 
   <td>将所有语言统一到一套编码里</td> 
   <td>如果内容全是英文，unicode编码比ASCII需要多一倍的存储空间，传输叶需要多一倍的空间<br>常用语Python内存中</td> 
  </tr> 
  <tr> 
   <td>utf-8</td> 
   <td>把英文变长成1个字节，汉字用3个字节。特别生僻的变成4-6字节</td> 
   <td>常用于文件保存和传输，进行空间压缩</td> 
  </tr> 
 </tbody> 
</table>

【ASCII和unicode编码】

1.  字母A用ASCII编码十进制是65，二进制是 0100 0001
2.  汉字“中”已近超出了ASCII编码的范围，用unicode编码是20013，二进制是 01001110 00101101
3.  A用unicode编码只需要前面补0：00000000 0100 0001（浪费了很多空间）–>提出了utf-8编码

# Python编程 #

原理

![Python编程][Python]

【Python中的编码】

1.  Python在内存中使用unicode编码
2.  `s = "我用Python"` 在windows下是GB2312编码，linux下是utf8

【windows环境】

# 英文测试 - 没有问题
    >>> s = "abc" #windows下为gb2312
    >>> su = u"abc" #unicode，在Python3中已经把所有的字符串都处理为unicode
    >>> s.encode("utf8")
    'abc'
    >>> su.encode("utf8")
    'abc'
    # 中文测试
    >>> s = "我用Python" #windows下为gb2312
    >>> su = u"我用Python" #unicode，在Python3中已经把所有的字符串都处理为unicode
    >>> s.encode("utf8")
    UnicodeDecodeError：'utf8' codec can't decode byte 0xce in position 0: invalid continuation byte
    	# 在使用encode()函数之前必须确保s是一个unicode的编码
    	# 1. 先要将字符串转成unicode的编码：`s.decode("gb2312")`
    	# 2. 然后再将s转成utf8编码：`s.decode("gb2312").encode("utf8")`
    >>> su.encode("utf-8") 
    	# su已经是一个unicode就不会报错

【linux环境】

# linux环境
    >>> s = "我用Python" 
    >>> import sys
    >>> sys.getdefaultencoding() #查看默认编码
    'ascii'
    >>> s.encode("utf8") 
    	# 执行时默认为：s.decode("ascii").encode("utf8")
    	# 但在linux下是utf8，所以s.decode("ascii")就已经出错

[Python]: /images/20220326/9724b042a8a740d9b56187744c9fbfbf.png