Python 3字符串与编码机制详解：从Unicode到UTF-8实战
本文深入解析Python 3中字符串的Unicode编码机制，详细阐述str与bytes的转换原理。通过具体代码示例，演示如何正确使用encode()和decode()方法处理文本，避免乱码问题。同时介绍单字符编码、十六进制表示及源码文件编码声明规范，帮助开发者掌握跨平台中文显示与网络数据传输的最佳实践。
在最新的Python 3版本中，字符串默认采用Unicode编码，这意味着Python原生支持多语言字符的处理。
编码与解码基础
字符串在内存中始终以Unicode格式存储。在实际操作中，经常需要在str（字符串）和bytes（字节序列）之间进行相互转换。当数据在网络上传输或保存至磁盘时，从内存读取的数据表现为str；若要将str转换为以字节为单位的bytes，这一过程称为编码。反之，若从网络或磁盘读取的是字节流（即bytes），将其还原为str的过程则称为解码。为防止出现乱码，建议始终使用UTF-8编码标准对str和bytes进行转换操作。
使用示例：
单个字符的编码
print(ord('A')) #输出：65，获取字符的整数表示
print(chr(66)) #输出：B，把编码转换为对应的字符
十六进制表示
print('中文') #输出：'中文'，
print('\u4e2d\u6587') #输出：'中文'，'\u4e2d\u6587'和'中文'完全对等，如果知道字符的整数编码，还可以用十六进制这么写str
bytes类型的数据表示
在Python中，bytes类型的数据使用带b前缀的单引号或双引号表示，例如'ABC'与b'ABC'在视觉显示上完全一致，但区别在于bytes类型的每个字符仅占用一个字节。
编码
print('ABC'.encode('ascii')) #输出：b'ABC'，以Unicode表示的str通过encode()方法可以编码为指定的bytes
print( '中文'.encode('utf-8')) #输出：b'\xe4\xb8\xad\xe6\x96\x87'，
print( '中文'.encode('ascii')) #输出：报错，因为中文字符在ascii编码范围外，所以导致编码失败
解码
print(b'ABC'.decode('ascii')) #输出：'ABC'
print(b'\xe4\xb8\xad\xe6\x96\x87'.decode('ascii')) #输出：'中文'
print(b'\xe4\xb8\xad\xff'.decode('utf-8', errors='ignore')) #输出：'中'，如果bytes中只有一小部分无效的字节，可以传入errors='ignore'忽略错误的字节
计算长度
#len(a)函数返回a的长度，如果a是字符串则返回字符数，如果a是字节表示则返回字节数
print(len('中文')) #输出：2，共2个字符
print(len('ABC')) #输出：3，共3个字符
print(len(b'ABC')) #输出：3，共是3个字节
print(len(b'\xe4\xb8\xad\xe6\x96\x87')) #输出：6，共是6个字节
print(len('中文'.encode('utf-8'))) #输出：6, 1个中文字符经过UTF-8编码后通常会占用3个字节,因此两个汉字的字节数是6
源码文件开头与编码声明
#!/usr/bin/env python3 告诉Linux/OS X系统，这是一个Python可执行程序，Windows系统会忽略这个注释 # -*- coding: utf-8 -*- 告诉Python解释器，按照UTF-8编码读取源代码，否则在源代码中写的中文输出可能会有乱码
注意：在源码中添加编码声明仅告诉编译器期望使用UTF-8编码，这并不等同于文件实际存储格式。必须确保.py文件以“UTF-8 without BOM”格式保存，才能保障文件中的中文字符正常显示。
总结
以上内容介绍了Python中字符串与编码的核心示例代码，希望能对读者有所帮助。如有任何疑问，欢迎留言讨论，作者将及时回复。
免责声明：本文内容仅供参考，不代表本站观点。转载或引用请注明出处。
