Python 高效删除大文件指定行的实现方案

为什么常规方法不适合大文件

在 Python 中处理文本文件时，常见的思路是将整个文件读入内存列表，修改后再写回源文件。这种方法在文件体积较小时可行，但当处理 GB 级别的日志或数据文件时，会面临两个主要问题：

• 内存溢出风险：一次性加载整个文件到内存中，极易导致 MemoryError。
• 性能低下：读取和写入整个文件耗时较长，且无法利用流式处理的特性。

因此，我们需要一种能够逐行处理、不依赖全量内存的方案。

基于双文件句柄的流式删除方案

核心思路是利用 open() 同时打开同一个文件进行读取和写入操作。通过定位到需要删除的行，然后将后续行逐行覆盖写入，最后截断文件尾部多余内容，即可完成删除。

操作步骤详解

1. 打开文件：使用 'r' 模式打开源文件用于读取，同时使用 'r+' 模式打开同一文件用于写入。注意 'r+' 模式允许在文件内部进行读写操作。
2. 定位目标行：通过循环调用 readline() 并递增计数器，将读取指针移动到待删除行的前一行。
3. 记录位置：使用 tell() 获取当前文件指针位置，这是写入操作的起始点。
4. 跳过删除行：调用一次 readline() 以消耗掉需要删除的那一行数据，使读取指针移动到下一行。
5. 覆盖写入：将写入指针定位到之前记录的起始位置，然后循环读取剩余行并写入文件，实现“上移”覆盖。
6. 截断文件：处理完所有行后，使用 truncate() 截断文件末尾多余的内容（因为删除了一行，文件总长度变短）。

代码实现

以下是完整的 Python 实现代码。请根据实际需求修改文件名和要删除的行号（del_line）。

with open('file.txt', 'r') as old_file:
  with open('file.txt', 'r+') as new_file:

    current_line = 0

    # 定位到需要删除的行
    while current_line < (del_line - 1):
      old_file.readline()
      current_line += 1

    # 当前光标在被删除行的行首，记录该位置
    seek_point = old_file.tell()

    # 设置光标位置
    new_file.seek(seek_point, 0)

    # 读需要删除的行，光标移到下一行行首
    old_file.readline()
    
    # 被删除行的下一行读给 next_line
    next_line = old_file.readline()

    # 连续覆盖剩余行，后面所有行上移一行
    while next_line:
      new_file.write(next_line)
      next_line = old_file.readline()

    # 写完最后一行后截断文件，因为删除操作，文件整体少了一行，原文件最后一行需要去掉
    new_file.truncate()

注意事项

• 行号定义：代码中的 del_line 变量应设置为需要删除的行号（从 1 开始计数）。
• 文件权限：确保脚本对目标文件具有读写权限。
• 备份建议：在生产环境中操作大文件前，建议先备份原文件，以防操作失误导致数据丢失。

以上就是 Python 高效删除大文件指定行的详细内容，更多关于 Python 文件处理技巧的资料请关注本站其它相关文章！