Python读取txt中文乱码怎么办？encoding参数设置指南

很多开发者在刚开始用 Python 读取文本文件时，几乎都会遇到这样的场景：本地新建一个 data.txt，里面写了几行中文说明，写好代码 with open('data.txt', 'r') as f: content = f.read() 一运行，控制台立刻弹出一串鲜红的错误信息：UnicodeDecodeError: 'gbk' codec can't decode byte 0x... in position ...: illegal multibyte sequence；或者虽然代码没有报错，但打印出的内容全是类似“锟斤拷”、“锘挎垜”或者问号的怪异字符。产生这一现象的根本原因是文件存储所用的字符编码与 Python 读取时使用的解码方式不一致。解决此类问题的核心抓手，就是在 open() 函数中显式且正确地传入 encoding 参数。

一、为什么 Python 读取 txt 会出现中文乱码？

所有存放在计算机磁盘上的文件，本质上都只是一串连续的二进制字节（Bytes）。当我们要把这些字节显示为人类可读的文字（String）时，必须通过一张对照表来进行转换，这张对照表就是“字符编码”。

在 Python 3 中，字符串对象在内存中统一以 Unicode 形式存储。当你使用 open(filename, 'r') 打开文本文件时，Python 必须把磁盘中的二进制字节流解码（Decode）成 Unicode 字符串。如果你在调用 open() 时省略了 encoding 参数，Python 并不会智能分析文件内容，而是直接向操作系统询问当前环境的默认文本编码（即 locale.getpreferredencoding() 的返回值）：

• Windows 简体中文版：系统默认编码一般为 cp936（即 GBK 编码的一种变体）。
• Linux 与 macOS：系统默认编码绝大多数为 utf-8。

现代大多数编辑器（如 VS Code、Sublime Text）或在线下载的文本文件，默认均使用 UTF-8 保存。在 Windows 系统上，Python 默认尝试用 GBK 规则去解释 UTF-8 组织起来的字节。当它遇到 UTF-8 中特定的 3 字节中文字符时，GBK 解码器找不到对应的规则，就会直接抛出 UnicodeDecodeError；反之，如果是旧系统导出的 GBK 文本在 Linux 或设置了 UTF-8 的环境下读取，也会同样报错。

二、encoding 参数的基本配置与规范写法

解决乱码问题的首要准则，就是永远不要依赖系统的默认编码，始终显式声明 encoding 参数。在绝大多数情况下，显式指定 encoding='utf-8' 即可顺利解决问题。

标准且安全的文件读取代码如下：

# 标准写法：使用 with 语句确保文件自动关闭，并显式指定 encoding
file_path = 'example.txt'

try:
    with open(file_path, 'r', encoding='utf-8') as f:
        content = f.read()
    print("读取成功，内容如下：")
    print(content)
except UnicodeDecodeError as e:
    print(f"解码失败：当前指定的编码与文件实际编码不符。详细原因：{e}")
except FileNotFoundError:
    print(f"文件未找到，请检查路径：{file_path}")

三、中文场景常用编码格式对比与选型

在处理中文文本时，我们主要会接触到四种编码格式。了解它们的特性，能够帮助你在遇到复杂文本时迅速做出正确选择。

四、排查与确定文件真实编码的实战步骤

当你拿到一个来源未知的 txt 文件，且 encoding='utf-8' 报错时，不要盲目乱试。推荐按照以下四步排查流程解决：

1. 通过常用文本编辑器直接查看

这是最直接也最直观的方法。使用 VS Code 打开目标 txt 文件，查看窗口右下角状态栏：

• 如果显示为 UTF-8，直接设置 encoding='utf-8'。
• 如果显示为 UTF-8 with BOM，设置 encoding='utf-8-sig'。
• 如果显示为 GB2312 或 EUC-CN，设置 encoding='gb18030'。

2. 使用第三方库自动探测文件编码

当需要批量自动化处理成百上千个编码各异的 txt 文件时，无法人工打开检查。可以使用 Python 社区成熟的检测库 charset-normalizer（Python 3 推荐，替代传统的 chardet）来自动探测：

from charset_normalizer import from_path

def detect_and_read(file_path):
    # 读取二进制特征并推测编码
    results = from_path(file_path)
    best_match = results.best()
    
    if best_match is not None:
        detected_encoding = best_match.encoding
        print(f"检测到文件编码为：{detected_encoding}")
        # best_match 自带解码后的文本
        return str(best_match)
    else:
        # 检测失败时的兜底逻辑
        with open(file_path, 'r', encoding='gb18030', errors='replace') as f:
            return f.read()

# 示例调用
# text = detect_and_read('unknown_file.txt')

五、遇到脏数据或损坏文件：errors 参数的使用指南

有些时候，文本文件本身可能混合了不同来源的内容，或者在传输过程中损坏了几个字节。此时，无论你将 encoding 设置为 utf-8 还是 gb18030，Python 都会在遇到损坏字节的那一行报错中断。此时，可以通过 open() 的 errors 参数来决定解码失败时的容错策略。

结合 encoding 与 errors='replace' 的健壮读取示例：

# 面对可能存在脏字符的复杂文件，使用 replace 容错
with open('legacy_data.txt', 'r', encoding='gb18030', errors='replace') as f:
    for line_num, line in enumerate(f, start=1):
        if '\ufffd' in line:
            print(f"第 {line_num} 行包含无法正常解码的字符，已自动替换为占位符。")
        # 处理业务逻辑

六、排查决策树与终极避坑清单

为了在日常开发中形成快速反应习惯，下图整理了面对读取 txt 乱码时的决策路径：

在日常开发与维护中，还应当牢记以下几点细节经验：

1. 写文件时同样要指定编码：调用 open(file, 'w', encoding='utf-8') 显式保存，这样无论后续脚本在 Windows 还是 Linux 上被执行，都能确保输出的标准统一。
2. 慎用 GBK，优先考虑 GB18030：如果确认文本是中文旧编码，在遇到极少数生僻人名、特殊古籍字符报错时，将 'gbk' 替换为 'gb18030'，通常无需做任何其他改动即可通过。
3. 警惕 BOM 字符的存在：如果你用普通 utf-8 读取由 Windows 记事本编辑的文件并使用字典键索引时，首行的键名很可能会变成 \ufeffname 而导致 KeyError，遇到类似问题将编码换成 utf-8-sig 即可自动剥离开头的 BOM 标记。
4. 数据分析库传参同步：使用 Pandas 的 pd.read_csv() 或 pd.read_table() 读取含有中文的 txt/csv 时，同样支持传入 encoding='utf-8' 或 encoding='gb18030' 参数，其底层逻辑与原生 open() 完全一致。