Python字符编码演进与Python2/3差异解析

字符编码发展简史

字符编码技术的发展经历了从单一国家标准到全球统一标准的演变过程。

美国于1963年制定了ASCII编码标准，该标准包含127个字符，每个字符占用1个字节。

中国于1980年发布了GB2312编码标准，共收录7445个字符，其中包括6763个汉字和682个其他符号。

1993年，中国发布了GB13000编码标准，收录汉字数量增至20902个。

1995年，GBK1.0标准发布，收录汉字数量达到21003个。

2000年，GB18030标准推出，收录汉字数量大幅扩展至70244个。

1991年，Unicode（俗称“万国码”）标准确立，旨在实现统一编码。通常情况下，Unicode字符占用2个字节，但对于部分复杂汉字，可能需要占用4个字节。

UTF-8是一种可变长度的字符编码方式，能够高效地表示Unicode标准中的所有字符。

Python中的编码与解码应用

在Python编程中，正确理解和使用字符编码与解码机制至关重要。

在Python2版本中，字符串进行字符编码转换需要遵循特定流程。

具体转换路径为：首先将字节串通过decode方法指定原始字符编码转换为Unicode字符串，随后再通过encode方法指定新的字符编码转换回字节串。

#!/usr/bin/env python
# -*- coding:utf-8 -*-

utf_8_a = '测试'
print(utf_8_a,type(utf_8_a),len(utf_8_a)) #打印utf_8_a的内容、类型及长度
unicode_a = utf_8_a.decode('utf-8') #对utf_8_a进行解码成unicode
print(unicode_a,type(unicode_a),len(unicode_a))
gbk_a = utf_8_a.decode('utf-8').encode('gbk') #先解码在编码成gbk
print(gbk_a,type(gbk_a),len(gbk_a)) #打印gbk_a的内存、类型及长度
print(gbk_a.decode('gbk'))
----------------------------------------------------
pytharm（python2.6）运行结果：
('\xe6\xb5\x8b\xe8\xaf\x95', <type 'str'>, 6)
(u'\u6d4b\u8bd5', <type 'unicode'>, 2)
('\xb2\xe2\xca\xd4', <type 'str'>, 4)
测试

在Python3版本中，定义的字符串默认即为Unicode类型，因此无需先进行解码操作，可以直接通过encode方法将字符串编码为新的字符编码格式。

具体转换路径简化为：字符串直接通过encode方法指定新的字符编码转换为字节串。

#!/usr/bin/env python
# -*- coding:utf-8 -*-
 
utf_8_a = '测试'
print(utf_8_a,type(utf_8_a),len(utf_8_a)) #打印utf_8_a的内容、类型及长度
gbk_a = utf_8_a.encode('gbk')
print(gbk_a.decode('gbk'),type(gbk_a),len(gbk_a))
 --------------------------------------------------------
pycharm（python3.6）运行结果：
测试 <class 'str'> 2
测试 <class 'bytes'> 4

以上关于Python字符编码的理解与操作示例，旨在为读者提供清晰的参考，欢迎进一步探讨与实践。