Python处理大文本文件：三种逐行读取与分割方案
发布时间：2026-10-13| 2人浏览过
本文介绍Python中处理大txt文件的三种逐行读取与分割方法。通过示例代码展示如何利用readline、迭代器及readlines配合内存限制策略，实现高效的数据分割。重点解析不同方法在内存占用和执行效率上的差异，帮助开发者根据实际场景选择合适的文件处理方案，避免内存溢出问题。
具体实现代码如下所示：
# -*- coding: <encoding name> -*-
import io
LIMIT = 150000
file_count = 0
url_list = []
with io.open('D:\DB_NEW_bak\DB_NEW_20171009_bak.sql','r',encoding='utf-16') as f:
for line in f:
url_list.append(line)
if len(url_list) < LIMIT:
continue
file_name = str(file_count)+".sql"
with io.open(file_name,'w',encoding='utf-16') as file:
for url in url_list[:-1]:
file.write(url)
file.write(url_list[-1].strip())
url_list=[]
file_count+=1
if url_list:
file_name = str(file_count) + ".sql"
with io.open(file_name,'w',encoding='utf-16') as file:
for url in url_list:
file.write(url)
print('done')
在Python中从txt文件逐行读取数据
实现这一功能非常简便，这里提供三种常用的方法供参考：
第一种方法：
f = open("foo.txt") # 返回一个文件对象
line = f.readline() # 调用文件的 readline()方法
while line:
print line, # 后面跟 ',' 将忽略换行符
# print(line, end = '') # 在 Python 3中使用
line = f.readline()
f.close()
第二种方法：
for line in open("foo.txt"):
print line,
第三种方法：
f = open("c:\\1.txt","r")
lines = f.readlines()#读取全部内容
for line in lines
print line
总结
以上介绍了Python逐行分割大txt文件的相关技巧，希望能对大家有所帮助。如有任何疑问，欢迎留言交流，小编会及时回复。同时感谢大家对本站的支持！
免责声明：本文内容仅供参考，不代表本站观点。转载或引用请注明出处。
