Python字符串编码转换与UnicodeEncodeError错误排查指南

Python字符串编码转换与UnicodeEncodeError错误排查指南

为何会触发“UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)”这一报错？本文将对此问题进行深入研究与解析。

decode()函数的功能是将其他编码格式的字符串转换为Unicode编码。例如，执行str1.decode('gb2312')，意味着将采用gb2312编码的字符串str1转换为Unicode编码。

encode()函数的功能则是将Unicode编码转换为其他编码格式的字符串。例如，执行str2.encode('gb2312')，意味着将采用Unicode编码的字符串str2转换为gb2312编码。

因此，在进行转码操作时，必须首先明确原始字符串str的编码格式，随后先将其decode()转换为Unicode，最后再encode()为其他所需的编码格式。

代码文件编码与字符串默认编码的关系

代码中字符串的默认编码格式与代码文件本身的编码格式保持一致。

例如定义变量：s='中文'

若该代码位于utf-8编码的文件中，则该字符串被视为utf-8编码；若位于gb2312编码的文件中，则其编码为gb2312。在此类情况下，若需进行编码转换，必须先使用decode()方法将其转换为Unicode编码，再使用encode()方法转换为其他编码。通常情况下，若未指定特定的编码方式，代码文件会使用系统默认编码创建。

若字符串定义方式如下：s=u'中文'

则该字符串的编码被明确指定为Unicode（即Python的内部编码），这与代码文件本身的编码无关。因此，对此类字符串进行编码转换时，只需直接使用encode()方法将其转换为指定编码即可。

若对一个已经是Unicode编码的字符串再次执行decode()操作，将会导致错误。因此，通常需要判断其编码方式是否为Unicode：

isinstance(s, unicode) #用于判断变量s是否为unicode类型

尝试使用非Unicode编码形式的str来执行encode()操作会引发报错。

获取系统默认编码与IDE乱码问题排查

如何获取系统的默认编码？

#!/usr/bin/env python #coding=utf-8 import sys print sys.getdefaultencoding()

在英文Windows XP系统上运行上述程序，输出结果为：ascii

在某些集成开发环境（IDE）中，字符串输出常出现乱码甚至错误，这往往是因为IDE的结果输出控制台无法正确显示字符串的编码，而非程序本身存在逻辑问题。

例如在UliPad中运行以下代码：

s=u"中文" print s

此时会提示：UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)。这是因为在英文Windows XP环境下，UliPad的控制台信息输出窗口默认按ascii编码输出（英文系统的默认编码为ascii），而代码中的字符串s是Unicode编码，因此在输出时产生了编码不匹配的错误。

将最后一句代码修改为：print s.encode('gb2312')

此时即可正确输出“中文”两个汉字。

若将最后一句代码修改为：print s.encode('utf8')

则输出结果为：\xe4\xb8\xad\xe6\x96\x87。这是控制台信息输出窗口按ascii编码输出utf8编码字符串时的显示结果（即UTF-8字节序列的字符串表示）。

unicode(str,'gb2312')与str.decode('gb2312')的作用相同，都是将gb2312编码的字符串str转换为Unicode编码。

使用str.__class__可以查看字符串str的编码形式或类型。

通用的字符串编码处理方案

原理阐述完毕后，最后提供一个通用的解决方案：