Python按段落拆分大文件并合并为小文件的实现方法

凌晨两点半

发布时间：2026-10-13| 2人浏览过

原创

本文介绍利用Python正则表达式按连续换行符分割大文件，并将每3个段落合并写入新小文件的完整流程。通过遍历切片列表并动态管理文件句柄，实现自动化分段存储，适用于语料处理等场景。

本文详细介绍使用Python将大型文件依据段落分隔为多个小型文件的简易方案，旨在提供可直接参考的实用技巧。

在处理同学提供的语料文件时，发现该文件体积较大且以连续两个换行符作为段落分隔标志。需求是将文件按段落拆分，并将每3个段落组合生成一个新的小文件。鉴于网上现有方案较为复杂，经过尝试后编写了一段简洁代码，成功解决了该问题。

核心逻辑如下：首先读取原文件内容，利用正则表达式依据连续换行符（\n\n）进行切片，生成包含各段落内容的列表。接着创建文件写入句柄，遍历该列表并写入当前段落内容。程序判断已写入段落数是否达到3个，若未达到则继续处理下一段；若已达到3个，则关闭当前写入句柄，并以新文件名创建新的写入句柄，随后继续循环处理剩余切片，直至所有数据读写完毕。

# -*- coding:utf8 -*-
import re;
p=re.compile('\n\n',re.S);
fileContent=open('files/办公室.txt','r',encoding='utf8').read();#读文件内容
paraList=p.split(fileContent) #根据换行符对文本进行切片
fileWriter=open('files/0.txt','a',encoding='utf8');#创建一个写文件的句柄
for paraIndex in range(len(paraList)):#遍历切片后的文本列表
  fileWriter.write(paraList[paraIndex]);#先将列表中第一个元素写入文件中
  if((paraIndex+1)%3==0):#判断是否写够3个切片，如果已经够了
    fileWriter.close(); #关闭当前句柄
    fileWriter=open('files/'+str((paraIndex+1)/3)+'.txt','a',encoding='utf8'); #重新创建一个新的句柄，等待写入下一个切片元素。注意这里文件名的处理技巧。
fileWriter.close();#关闭最后创建的那个写文件句柄
print('finished');

更多关于Python相关内容感兴趣的读者可查看本站专题：《Python文件与目录操作技巧汇总》、《Python文本文件操作技巧汇总》、《Python URL操作技巧总结》、《Python图片操作技巧总结》、《Python数据结构与算法教程》、《Python Socket编程技巧总结》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》及《Python入门与进阶经典教程》

希望本文所述对大家Python程序设计有所帮助。