Python中的str与unicode处理方法

待我称王封你为后i 2022-08-23 04:54 250阅读 0赞

#  #

# [Python读取中文路径时的处理 ][Python_] #

1.  <span style="font-size:14px;">\# -\*- coding: utf-8 -\*-
2.  \# Python2.7.9
3.  \# 2015年12月20日 18:34:46
4.  \# 如果读取路径中含有中文，可将路径拆分，并对中文部分进行unicode编码
5.  
6.  import os
7.  
8.  filenames = os.listdir("C:\\Users\\lenovo\\Desktop") \# 纯英文路径
9.  filenames2 = os.listdir("C:\\Users\\lenovo\\Desktop"\+u"\\中文测试文件夹")
10. 
11. \# 注意：拆分时，第一个部分最后不能是反斜线\\，即不能这样拆分：
12. \# C:\\Users\\lenovo\\Desktop\\"+u"中文测试文件夹"
13. \# 否则会报错，具体可自行测试。</span>

方法二：对路径整体编码unicode格式

**\[python\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  <span style="font-size:14px;">path=unicode("C:\\Users\\lenovo\\Desktop\\中文测试文件夹","utf-8")
2.  filenames = os.listdir(path)</span>

方法三：用raw\_input方式输入路径，路径中可以含有中文

**\[python\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  path = raw\_input(u"请输入文件目录:")
2.  filenames = os.listdir(path)

# Python中的str与unicode处理方法 #

python2.x中处理中文，是一件头疼的事情。网上写这方面的文章，测次不齐，而且都会有点错误，所以在这里打算自己总结一篇文章。

我也会在以后学习中，不断的修改此篇博客。

这里假设读者已有与编码相关的基础知识,本文不再再次介绍，包括什么是utf-8，什么是unicode，它们之间有什么关系。

## str与字节码 ##

首先，我们完全不谈unicode。

Python

s = "人生苦短"

s是个字符串，它本身存储的就是字节码。那么这个字节码是什么格式的？

如果这段代码是在解释器上输入的，那么这个s的格式就是解释器的编码格式，对于windows的cmd而言，就是gbk。

如果将段代码是保存后才执行的，比如存储为utf-8，那么在解释器载入这段程序的时候，就会将s初始化为utf-8编码。

## unicode与str ##

我们知道unicode是一种编码标准，具体的实现标准可能是utf-8，utf-16，gbk ……

python 在内部使用两个字节来存储一个unicode，使用unicode对象而不是str的好处，就是unicode方便于跨平台。

你可以用如下两种方式定义一个unicode:

Python

s1 = u"人生苦短" s2 = unicode("人生苦短", "utf-8")

<table style=""> 
 <tbody> 
  <tr> 
   <td> 
    <div style="font-size:13px!important; line-height:15px!important"> 
     <div>
       1 
     </div> 
     <div>
       2 
     </div> 
    </div> </td> 
   <td> 
    <div style=""> 
     <div> 
      <span>s1</span> 
      <span></span> 
      <span>=</span> 
      <span> </span> 
      <span>u</span> 
      <span>"人生苦短"</span> 
     </div> 
     <div> 
      <span>s2</span> 
      <span> </span> 
      <span>=</span> 
      <span></span> 
      <span>unicode</span> 
      <span>(</span> 
      <span>"人生苦短"</span> 
      <span>,</span> 
      <span></span> 
      <span>"utf-8"</span> 
      <span>)</span> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

## encode与decode ##

在python中的编码解码是这样的：

![encode-decode][]

所以我们可以写这样的代码：

Python

\# -\*- coding:utf-8 -\*- su = "人生苦短" \# ： su是一个utf-8格式的字节串 u = s.decode("utf-8") \# ： s被解码为unicode对象，赋给u sg = u.encode("gbk") \# ： u被编码为gbk格式的字节串，赋给sg print sg \# 打印sg

<table style=""> 
 <tbody> 
  <tr> 
   <td> 
    <div style="font-size:13px!important; line-height:15px!important"> 
     <div>
       1 
     </div> 
     <div>
       2 
     </div> 
     <div>
       3 
     </div> 
     <div>
       4 
     </div> 
     <div>
       5 
     </div> 
     <div>
       6 
     </div> 
     <div>
       7 
     </div> 
     <div>
       8 
     </div> 
     <div>
       9 
     </div> 
    </div> </td> 
   <td> 
    <div style=""> 
     <div> 
      <span># -*- coding:utf-8 -*-</span> 
     </div> 
     <div> 
      <span>su</span> 
      <span> </span> 
      <span>=</span> 
      <span></span> 
      <span>"人生苦短"</span> 
     </div> 
     <div> 
      <span># ： su是一个utf-8格式的字节串</span> 
     </div> 
     <div> 
      <span>u</span> 
      <span>&nbsp;&nbsp;</span> 
      <span>=</span> 
      <span></span> 
      <span>s</span> 
      <span>.</span> 
      <span>decode</span> 
      <span>(</span> 
      <span>"utf-8"</span> 
      <span>)</span> 
     </div> 
     <div> 
      <span># ： s被解码为unicode对象，赋给u</span> 
     </div> 
     <div> 
      <span>sg</span> 
      <span> </span> 
      <span>=</span> 
      <span></span> 
      <span>u</span> 
      <span>.</span> 
      <span>encode</span> 
      <span>(</span> 
      <span>"gbk"</span> 
      <span>)</span> 
     </div> 
     <div> 
      <span># ： u被编码为gbk格式的字节串，赋给sg</span> 
     </div> 
     <div> 
      <span>print</span> 
      <span> </span> 
      <span>sg</span> 
     </div> 
     <div> 
      <span># 打印sg</span> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

但是事实情况要比这个复杂，比如看如下代码：

Python

s = "人生苦短" s.encode('gbk')

<table style=""> 
 <tbody> 
  <tr> 
   <td> 
    <div style="font-size:13px!important; line-height:15px!important"> 
     <div>
       1 
     </div> 
     <div>
       2 
     </div> 
    </div> </td> 
   <td> 
    <div style=""> 
     <div> 
      <span>s</span> 
      <span></span> 
      <span>=</span> 
      <span> </span> 
      <span>"人生苦短"</span> 
     </div> 
     <div> 
      <span>s</span> 
      <span>.</span> 
      <span>encode</span> 
      <span>(</span> 
      <span>'gbk'</span> 
      <span>)</span> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

看！str也能编码，(事实上unicode对象也能解码，但是意义不大)

这样为什么可以？看上图的编码流程的箭头，你就能想到原理，当对str进行编码时，会先用默认编码将自己解码为unicode，然后在将unicode编码为你指定编码。

这就引出了python2.x中在处理中文时，大多数出现错误的原因所在：python的默认编码，defaultencoding是ascii

看这个例子：

Python

\# -\*- coding: utf-8 -\*- s = "人生苦短" s.encode('gbk')

<table style=""> 
 <tbody> 
  <tr> 
   <td> 
    <div style="font-size:13px!important; line-height:15px!important"> 
     <div>
       1 
     </div> 
     <div>
       2 
     </div> 
     <div>
       3 
     </div> 
    </div> </td> 
   <td> 
    <div style=""> 
     <div> 
      <span># -*- coding: utf-8 -*-</span> 
     </div> 
     <div> 
      <span>s</span> 
      <span> </span> 
      <span>=</span> 
      <span></span> 
      <span>"人生苦短"</span> 
     </div> 
     <div> 
      <span>s</span> 
      <span>.</span> 
      <span>encode</span> 
      <span>(</span> 
      <span>'gbk'</span> 
      <span>)</span> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

上面的代码会报错，错误信息：UnicodeDecodeError: ‘ascii’ codec can’t decode byte ……

因为你没有指定defaultencoding,所以它其实在做这样的事情:

Python

\# -\*- coding: utf-8 -\*- s = "人生苦短" s.decode('ascii').encode('gbk')

<table style=""> 
 <tbody> 
  <tr> 
   <td> 
    <div style="font-size:13px!important; line-height:15px!important"> 
     <div>
       1 
     </div> 
     <div>
       2 
     </div> 
     <div>
       3 
     </div> 
    </div> </td> 
   <td> 
    <div style=""> 
     <div> 
      <span># -*- coding: utf-8 -*-</span> 
     </div> 
     <div> 
      <span>s</span> 
      <span> </span> 
      <span>=</span> 
      <span></span> 
      <span>"人生苦短"</span> 
     </div> 
     <div> 
      <span>s</span> 
      <span>.</span> 
      <span>decode</span> 
      <span>(</span> 
      <span>'ascii'</span> 
      <span>)</span> 
      <span>.</span> 
      <span>encode</span> 
      <span>(</span> 
      <span>'gbk'</span> 
      <span>)</span> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

## 设置defaultencoding ##

设置defaultencoding的代码如下：

Python

reload(sys) sys.setdefaultencoding('utf-8')

<table style=""> 
 <tbody> 
  <tr> 
   <td> 
    <div style="font-size:13px!important; line-height:15px!important"> 
     <div>
       1 
     </div> 
     <div>
       2 
     </div> 
    </div> </td> 
   <td> 
    <div style=""> 
     <div> 
      <span>reload</span> 
      <span>(</span> 
      <span>sys</span> 
      <span>)</span> 
     </div> 
     <div> 
      <span>sys</span> 
      <span>.</span> 
      <span>setdefaultencoding</span> 
      <span>(</span> 
      <span>'utf-8'</span> 
      <span>)</span> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

如果你在python中进行编码和解码的时候，不指定编码方式，那么python就会使用defaultencoding。

比如上一节例子中将str编码为另一种格式，就会使用defaultencoding。

Python

s.encode("utf-8") 等价于 s.decode(defaultencoding).encode("utf-8")

<table style=""> 
 <tbody> 
  <tr> 
   <td> 
    <div style="font-size:13px!important; line-height:15px!important"> 
     <div>
       1 
     </div> 
    </div> </td> 
   <td> 
    <div style=""> 
     <div> 
      <span>s</span> 
      <span>.</span> 
      <span>encode</span> 
      <span>(</span> 
      <span>"utf-8"</span> 
      <span>)</span> 
      <span></span>等价于 
      <span> </span> 
      <span>s</span> 
      <span>.</span> 
      <span>decode</span> 
      <span>(</span> 
      <span>defaultencoding</span> 
      <span>)</span> 
      <span>.</span> 
      <span>encode</span> 
      <span>(</span> 
      <span>"utf-8"</span> 
      <span>)</span> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

再比如你使用str创建unicode对象时，如果不说明这个str的编码格式，那么程序也会使用defaultencoding。

Python

u = unicode("人生苦短") 等价于 u = unicode("人生苦短",defaultencoding)

<table style=""> 
 <tbody> 
  <tr> 
   <td> 
    <div style="font-size:13px!important; line-height:15px!important"> 
     <div>
       1 
     </div> 
    </div> </td> 
   <td> 
    <div style=""> 
     <div> 
      <span>u</span> 
      <span></span> 
      <span>=</span> 
      <span> </span> 
      <span>unicode</span> 
      <span>(</span> 
      <span>"人生苦短"</span> 
      <span>)</span> 
      <span></span>等价于 
      <span> </span> 
      <span>u</span> 
      <span></span> 
      <span>=</span> 
      <span> </span> 
      <span>unicode</span> 
      <span>(</span> 
      <span>"人生苦短"</span> 
      <span>,</span> 
      <span>defaultencoding</span> 
      <span>)</span> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

默认的defaultcoding：ascii是许多错误的原因，所以早早的设置defaultencoding是一个好习惯。

## 文件头声明编码的作用。 ##

这要感谢这篇博客关于python文件头部分知识的讲解。

顶部的:\# -\*- coding: utf-8 -\*-目前看来有三个作用。

1.  如果代码中有中文注释，就需要此声明
2.  比较高级的编辑器（比如我的emacs），会根据头部声明，将此作为代码文件的格式。
3.  程序会通过头部声明，解码初始化 u”人生苦短”，这样的unicode对象，（所以头部声明和代码的存储格式要一致）

## 关于requests库 ##

requests是一个很实用的Python HTTP客户端库，编写爬虫和测试服务器响应数据时经常会用到。

其中的Request对象在访问服务器后会返回一个Response对象，这个对象将返回的Http响应字节码保存到content属性中。

但是如果你访问另一个属性text时，会返回一个unicode对象，乱码问题就会常常发成在这里。

因为Response对象会通过另一个属性encoding来将字节码编码成unicode，而这个encoding属性居然是responses自己猜出来的。

官方文档：

> text  
> Content of the response, in unicode.
> 
> If Response.encoding is None, encoding will be guessed using chardet.
> 
> The encoding of the response content is determined based solely on HTTP headers, following RFC 2616 to the letter. If you can take advantage of non-HTTP knowledge to make a better guess at the encoding, you should set r.encoding appropriately before accessing this property.

所以要么你直接使用content(字节码)，要么记得把encoding设置正确，比如我获取了一段gbk编码的网页,就需要以下方法才能得到正确的unicode。

Python

import requests url = "http://xxx.xxx.xxx" response = requests.get(url) response.encoding = 'gbk' print response.text

<table style=""> 
 <tbody> 
  <tr> 
   <td> 
    <div style="font-size:13px!important; line-height:15px!important"> 
     <div>
       1 
     </div> 
     <div>
       2 
     </div> 
     <div>
       3 
     </div> 
     <div>
       4 
     </div> 
     <div>
       5 
     </div> 
     <div>
       6 
     </div> 
    </div> </td> 
   <td> 
    <div style=""> 
     <div> 
      <span>import</span> 
      <span></span> 
      <span>requests</span> 
     </div> 
     <div> 
      <span>url</span> 
      <span> </span> 
      <span>=</span> 
      <span></span> 
      <span>"http://xxx.xxx.xxx"</span> 
     </div> 
     <div> 
      <span>response</span> 
      <span></span> 
      <span>=</span> 
      <span> </span> 
      <span>requests</span> 
      <span>.</span> 
      <span>get</span> 
      <span>(</span> 
      <span>url</span> 
      <span>)</span> 
     </div> 
     <div> 
      <span>response</span> 
      <span>.</span> 
      <span>encoding</span> 
      <span></span> 
      <span>=</span> 
      <span> </span> 
      <span>'gbk'</span> 
     </div> 
     <div>
       &nbsp; 
     </div> 
     <div> 
      <span>print</span> 
      <span> </span> 
      <span>response</span> 
      <span>.</span> 
      <span>text</span> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

## 不仅仅要原理，更要使用方法！ ##

如果是早期的我写博客，那么我一定会写这样的例子：

如果现在的文件编码为gbk,然后文件头为：\# -\*- coding: utf-8 -\*-，再将默认编码设置为xxx，那么如下程序的结果会是……

这就类似于，当年学c的时候，用各种优先级，结合性，指针来展示自己水平的代码。

实际上这些根本就不实用，谁会在真正的工作中写这样的代码呢？我在这里想谈谈实用的处理中文的python方法。

**基本设置**

主动设置defaultencoding。（默认的是ascii）

代码文件的保存格式要与文件头部的\# coding:xxx一致

如果是中文，程序内部尽量使用unicode，而不用str

**关于打印**

你在打印str的时候，实际就是直接将字节流发送给shell。如果你的字节流编码格式与shell的编码格式不相同，就会乱码。

而你在打印unicode的时候，系统自动将其编码为shell的编码格式，是不会出现乱码的。

**程序内外要统一**

如果说程序内部要保证只用unicode，那么在从外部读如字节流的时候，一定要将这些字节流转化为unicode，在后面的代码中去处理unicode，而不是str。

Python

with open("test") as f: for i in f: \# 将读入的utf-8字节流进行解码 u = i.decode('utf-8') ....

<table style=""> 
 <tbody> 
  <tr> 
   <td> 
    <div style="font-size:13px!important; line-height:15px!important"> 
     <div>
       1 
     </div> 
     <div>
       2 
     </div> 
     <div>
       3 
     </div> 
     <div>
       4 
     </div> 
     <div>
       5 
     </div> 
    </div> </td> 
   <td> 
    <div style=""> 
     <div> 
      <span>with</span> 
      <span></span> 
      <span>open</span> 
      <span>(</span> 
      <span>"test"</span> 
      <span>)</span> 
      <span></span> 
      <span>as</span> 
      <span> </span> 
      <span>f</span> 
      <span>:</span> 
     </div> 
     <div> 
      <span>&nbsp;&nbsp;&nbsp;&nbsp;</span> 
      <span>for</span> 
      <span></span> 
      <span>i</span> 
      <span> </span> 
      <span>in</span> 
      <span></span> 
      <span>f</span> 
      <span>:</span> 
     </div> 
     <div> 
      <span>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</span> 
      <span># 将读入的utf-8字节流进行解码</span> 
     </div> 
     <div> 
      <span>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</span> 
      <span>u</span> 
      <span></span> 
      <span>=</span> 
      <span> </span> 
      <span>i</span> 
      <span>.</span> 
      <span>decode</span> 
      <span>(</span> 
      <span>'utf-8'</span> 
      <span>)</span> 
     </div> 
     <div> 
      <span>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</span> 
      <span>.</span> 
      <span>.</span> 
      <span>.</span> 
      <span>.</span> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

如果把连接程序内外的这段数据流比喻成通道的的话，那么与其将通道开为字节流，读入后进行解码，不如直接将通道开为unicode的。

Python

\# 使用codecs直接开unicode通道 file = codecs.open("test", "r", "utf-8") for i in file: print type(i) \# i的类型是unicode的

<table style=""> 
 <tbody> 
  <tr> 
   <td> 
    <div style="font-size:13px!important; line-height:15px!important"> 
     <div>
       1 
     </div> 
     <div>
       2 
     </div> 
     <div>
       3 
     </div> 
     <div>
       4 
     </div> 
     <div>
       5 
     </div> 
    </div> </td> 
   <td> 
    <div style=""> 
     <div> 
      <span># 使用codecs直接开unicode通道</span> 
     </div> 
     <div> 
      <span>file</span> 
      <span> </span> 
      <span>=</span> 
      <span></span> 
      <span>codecs</span> 
      <span>.</span> 
      <span>open</span> 
      <span>(</span> 
      <span>"test"</span> 
      <span>,</span> 
      <span></span> 
      <span>"r"</span> 
      <span>,</span> 
      <span></span> 
      <span>"utf-8"</span> 
      <span>)</span> 
     </div> 
     <div> 
      <span>for</span> 
      <span></span> 
      <span>i</span> 
      <span> </span> 
      <span>in</span> 
      <span></span> 
      <span>file</span> 
      <span>:</span> 
     </div> 
     <div> 
      <span>&nbsp;&nbsp;&nbsp;&nbsp;</span> 
      <span>print</span> 
      <span></span> 
      <span>type</span> 
      <span>(</span> 
      <span>i</span> 
      <span>)</span> 
     </div> 
     <div> 
      <span>&nbsp;&nbsp;&nbsp;&nbsp;</span> 
      <span># i的类型是unicode的</span> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

所以python处理中文编码问题的关键是你要清晰的明白，自己在干什么，打算读入什么格式的编码，声明的的这些字节是什么格式的，str到unicode是如何转换的，str的一种编码到另一种编码又是如何进行的。 还有，你不能把问题变得混乱，要自己主动去维护一种统一。

[Python_]: http://blog.csdn.net/churximi/article/details/50365151
[view plain]: http://blog.csdn.net/churximi/article/details/50365151#
[encode-decode]: http://www.pulpcode.cn/media/pic2014/encode.jpg