Python读取中文TXT文本的方法:Python2与Python3的差异处理

桃夭
桃夭
发布时间:2026-10-13| 5人浏览过
原创

本文详解Python读取中文TXT文本的方法,重点区分Python2与Python3的实现差异。针对Python2,需以unicode为中间编码进行转换,并特别注意处理UTF-8文件头部的BOM字符;Python3则可通过open函数的encoding参数直接指定编码。文章提供了具体的代码示例及decode方法的错误处理策略,帮助开发者避免乱码问题。

针对Python 2.7版本的情况

在Python 2.7中,字符串的内部表示采用unicode编码。因此,在执行编码转换操作时,通常需要将其他编码的字符串先解码为unicode,再从unicode编码为目标编码,即以unicode作为中间编码进行转换。

首先,建议使用editplus等编辑器检查TXT文件实际保存的编码格式,例如UTF-8、GB2312或其他编码。在读取文件行时,可以参照以下方式进行编码处理。

line = (file1.readline()).decode('utf-8').encode('gb2312')或
line = (file1.readline()).decode('gb2312').encode('utf-8')

需要注意:当TXT文件使用UTF-8编码保存时,Windows系统默认会在文件开头插入三个不可见的字节(BOM),用于标识该文件为UTF-8编码。如果直接调用decode('utf-8'),由于未处理这三个字节,将无法得到正确的解码结果。

必须先判断文件前三个字符是否包含Windows插入的BOM标记。Python已预定义了一个常量用于此目的,可直接将该常量与文件内容前三个字符进行比较。如果匹配,则需先删除这三个字符,然后再执行decode操作。

import codecs 
 data = open("Test.txt").read() 
 if data[:3] == codecs.BOM_UTF8:  
  data = data[3:] 
  print data.decode("utf-8") 

相关扩展知识:

decode函数的原型为decode([encoding], [errors='strict']),其中第二个参数用于控制错误处理的策略。默认参数为'strict',表示遇到非法字符时抛出异常。

若将该参数设置为'ignore',则会忽略所有非法字符。

若设置为'replace',则使用问号'?'来取代非法字符。

若设置为'xmlcharrefreplace',则使用XML字符引用来替代非法字符。

针对Python 3版本的情况

在Python 3中处理相对简单,只需在打开文件时指定encoding参数即可,例如:open("txt.txt", encoding="gbk").read()。

以上关于Python读取中文TXT文本的方法即为全部内容,希望能对读者有所帮助,也欢迎大家继续支持本站。

相关标签:

免责声明:本文内容仅供参考,不代表本站观点。转载或引用请注明出处。

Python 相关产品和应用

全部下载
Selenium

Selenium

4.51.0 · Windows

用于浏览器自动化和 Web 测试的 Python 工具。

scikit-learn

scikit-learn

1.9.1 · Windows

常用 Python 机器学习算法与模型评估工具库。

Black

Black

26.10.1 · Windows

强调一致性的 Python 自动代码格式化工具。

Ruff

Ruff

0.17.1 · macOS

由 Rust 编写的高速 Python 代码检查和格式化工具。

pytest

pytest

9.1.1 · Windows

简洁而强大的 Python 自动化测试框架。

FastAPI

FastAPI

0.146.0 · Windows

高性能 Python API 框架,支持类型提示和自动接口文档。

Flask

Flask

3.1.3 · Windows

轻量灵活的 Python Web 应用框架。

Django

Django

6.1.2 · Windows

成熟的 Python Web 框架,适合构建内容站点和业务系统。

Spyder

Spyder

6.1.7 · Windows

面向科学计算与数据分析的 Python 集成开发环境。

SciPy

SciPy

1.18.1 · Windows

面向科学、工程和技术计算的 Python 算法库。