Python高效读取大文件的正确姿势与内存优化指南

关于Python环境下文件读取的基础知识，可参考文章《Python基础之文件读取的讲解》。

这是一道经典的Python面试题，核心考点在于区分Python读取大文件与普通规模文件时的差异，重点考察哪些接口在特定场景下不适用。

1. read() 接口存在的问题

f = open(filename, 'rb')
f.read()

以读取一个大小为3GB的nginx日志文件为例，使用read()方法会一次性将所有内容加载至内存，这必然导致：

MemoryError ...

即发生内存溢出错误。

2. 解决方案：替换读取接口

• （1）readlines()：该方法尝试读取所有行并构建为一个列表，实践表明这依然会导致内存不足的问题；

for line in f.reanlines():
  ...

• （2）readline()：每次仅读取一行数据，

while True:
  line = f.readline()
  if not line:
    break

• （3）read(1024)：通过重载方法，指定每次读取的字节长度。

while True:
  block = f.read(1024)
  if not block:
    break

3. 真正符合Python风格（Pythonic）的方法

最推荐的Pythonic写法是使用with语句结构：

with open(filename, 'rb') as f:
  for line in f:
    <do something with the line>

对可迭代对象f进行迭代遍历：for line in f，该方式会自动启用缓冲IO（buffered IO）并优化内存管理，从而无需担心大文件带来的任何问题。

There should be one – and preferably only one – obvious way to do it.

Reference

How to read large file, line by line in python

总结

以上就是本文的全部内容，希望这些内容能对您的学习或工作提供有价值的参考，感谢支持。如需了解更多相关信息，请查阅下方的相关链接。