python使用chardet判断字符串编码，超简单的代码

谁践踏了优雅 2023-08-17 17:48 111阅读 0赞

下面代码段是关于python使用chardet判断字符串编码，超简单的代码，应该是对码农有较大用。

import chardet  
f = open('file','r')  
fencoding=chardet.detect(f.read())  
print fencoding

fencoding输出格式\{'confidence':0.96630842899499614,'encoding':'GB2312'\}，只能判断是否为某种编码的概率。比较准确的结果了。输入参数为str类型。

了解python中str的编码后可以利用decode和encode来实现编码的转换。

一般流程是str利用decode方法根据str的编码将其解码为unicode字符串类型，然后利用encode根据特定的编码将unicode字符串类型转换为特定的编码。python中str和unicode属于两种不同的类型，如下。

一般情况下window默认编码gbk，linux默认编码utf8  
python编程中系统编码，python编码，文件编码的概念。

系统编码：默认写源码的编辑器的编码方式。它代表源码文件内的所有内容都是根据词方式编码成二进制码流。存入到磁盘中的。linux下通过locale命令查看。

python编码：指python内设置的解码方式。如果不设定的话，python默认的是ascii解码方式。如果python源代码文件中不出现中文的话，这个地方怎么设定应该不会问题。

import sys  
reload(sys)  
sys.setdefaultencoding('UTF-8')

文件编码：文本的编码方式，linux下vim利用setfileencoding查看。

一般情况下输出乱码的原因就是没有按照系统解码的方式进行编码。

比如prints,s类型为str，linux系统下系统默认编码为utf8编码，s在输出前就应该编码为utf8。如果s为gbk编码就应该这样输出。prints.decode('gbk').encode('utf8')才能输出中文。

window下面情况相同，window默认编码为gbk编码，所以s输出前必须编码为gbk。

python处理中一般处理unicode类型。这样输出前直接编码即可。

转载于:https://www.cnblogs.com/Wladybird/p/11249699.html

发表评论取消回复

表情：

评论列表（有 0 条评论，111人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python使用chardet检测文本编码

在Python中，我们经常需要处理各种文本文件，但是不同的文本文件可能使用不同的编码方式，如果我们不知道文件的编码方式，就会导致读取出来的内容出现乱码。这时候，我们可以使用Py

一时失言乱红尘/ 2024年03月22日 08:48/ 0 赞/ 46 阅读

相关使用chardet库判断字符串编码的方法

在Python中，我们经常需要处理来自不同来源的文本数据，这些数据可能具有不同的编码方式。为了正确地处理这些数据，我们需要能够准确地确定字符串的编码方式。chardet是一个流

拼搏现实的明天。/ 2024年03月02日 09:33/ 0 赞/ 6 阅读

相关 python使用chardet判断字符串编码，超简单的代码

下面代码段是关于python使用chardet判断字符串编码，超简单的代码，应该是对码农有较大用。 import chardet f = open('file','

谁践踏了优雅/ 2023年08月17日 17:48/ 0 赞/ 112 阅读

相关 Python之动态检测编码chardet

引言：在互联网的世界里，每个页面都使用了编码，但是形形色色的编码让我们的代码何以得知其棉麻格式呢？charset将很好的解决这个问题。 ![Center][]

叁歲伎倆/ 2022年09月30日 15:56/ 0 赞/ 203 阅读

相关 python chardet模块查看编码

在处理数据过程中，编码问题让人头疼。尤其是在输出乱码的时候，不知道输出的内容是什么，也不好排除问题。例如：杩樻湁2绔欏埌杈都不知道如何转码，因为我压根不知道它使用什么编

清疚/ 2022年09月26日 15:49/ 0 赞/ 182 阅读

相关 python-字符编码库chardet

在处理字符串时，常常会遇到不知道字符串是何种编码，如果不知道字符串的编码就不能将字符串转换成需要的编码。面对多种不同编码的输入方式，是否会有一种有效的编码方式？chardet是

分手后的思念是犯贱/ 2022年08月07日 17:36/ 0 赞/ 223 阅读

相关 chardet编码识别模块

chardet是第三方提供的编码识别模块，具有较高的准确度。下载 PyPI中收录有chardet，因此，借助pip下载并安装chardet即可。 pip i

桃扇骨/ 2022年07月18日 01:08/ 0 赞/ 186 阅读

相关用chardet判断字符编码的方法

正好查一个编码。看到的原来可以这样 >>> import chardet >>> chardet.detect('\\xc5\\xc0\\xb3\\xe6')

谁借莪１个温暖的怀抱￠/ 2022年07月15日 06:44/ 0 赞/ 185 阅读

相关 Python获取网页编码的两种方法——requests、chardet

> 运行环境：`Python3.6`、`requests2.18.4` 方法一：使用requests模块 In[2]: import requests

待我称王封你为后i/ 2022年06月02日 23:54/ 0 赞/ 607 阅读

相关 Python3: chardet 检测 bytes 的原字符串编码格式

本文链接: [https://xiets.blog.csdn.net/article/details/117576584][https_xiets.blog.csdn.net_

以你之姓@/ 2021年09月22日 00:26/ 0 赞/ 295 阅读