Python字符串的encode与decode研究心得-解决乱码问题

为什么Python使用过程中会出现各式各样的乱码问题,明明是中文字符却显示成“/xe4/xb8/xad/xe6/x96/x87”的形式?

为什么会报错“UnicodeEncodeError: ‘ascii’ codec can’t encode characters in position 0-1: ordinal not in range(128)”?

为啥’gb2312’ codec can’t decode byte 0x95

本文就来研究一下这个问题。


基本知识:decode与encode区别

字符串在Python内部的表示是unicode编码,因此,在做编码转换时,通常需要以unicode作为中间编码,即:先将其他编码的字符串解码(decode)成unicode,再从unicode编码(encode)成另一种编码。

  1. decode的作用是将其他编码的字符串转换成unicode编码。
    如str1.decode(‘gb2312’),表示将gb2312编码的字符串str1转换成unicode编码。

  2. encode的作用是将unicode编码转换成其他编码的字符串。
    如str2.encode(‘gb2312’),表示将unicode编码的字符串str2转换成gb2312编码。

因此,转码的时候一定要先搞明白,字符串str是什么编码,然后decode成unicode,然后再encode成其他编码

判断是否为unicode

如果一个字符串已经是unicode了,再进行解码则将出错,因此通常要对其编码方式是否为unicode进行判断:

1
isinstance(s, unicode)  #用来判断是否为unicode

用非unicode编码形式的str来encode会报错

实例1

原理说了半天,最后来个包治百病的吧:)

1
2
3
4
5
6
7
8
9
10
#!/usr/bin/env python  
#coding=utf-8
s="中文"

if isinstance(s, unicode):
#s=u"中文"
print s.encode('gb2312')
else:
#s="中文"
print s.decode('utf-8').encode('gb2312')

实例2

有的时候,会提示错误:

‘gb2312’ codec can’t decode byte 0x95 in position 252873: illegal multibyte sequence

或者:

‘gb2312’ codec can’t decode byte 0x95 in position 252873: illegal multibyte sequence

这是因为:对string进行解码的时候,有个别字符解不出来,比如0x01就是空格。可以直接忽略,加入errors=’ignore’。具体解法如下:

1
html = buff.decode("gb2312",errors='ignore')
分享到 评论