Python中按行遍历与readlines读取文件的速度差异分析

码头散步
码头散步
发布时间:2026-10-13| 5人浏览过
原创

本文通过实例对比Python中两种常见的文件读取方式:逐行迭代读取与readlines一次性读取。测试结果显示,逐行遍历虽然内存占用低,但耗时较长;而使用readlines将内容一次性加载至列表后处理,在速度上具有明显优势。文章提供了具体的代码实现及性能差异说明,帮助开发者根据实际需求选择高效的文件读取策略。

第一种方式是逐行读取文件,这种方式虽然节省内存,但处理速度相对较慢,耗时较多。具体实现如代码片段所示:首先打开名为'inputFile.txt'的文件进行读取,然后遍历文件对象。在循环中,对每一行获取到的路径字符串执行rstrip()方法去除末尾空白字符。

 srcFiles = open('inputFile.txt', 'r')
 for file_path in srcFiles:
  file_path = file_path.rstrip()

第二种方式是快速读取所有行,该方法通过readlines()函数一次性将文件内容加载到内存列表中,从而显著提升读取速度。如代码片段所示:使用with语句打开'inputFile.txt'文件,调用fRead.readlines()将txt中所有字符串读入列表srcPaths。随后使用random.shuffle(srcPaths)打乱列表顺序,最后遍历处理每个图像路径,同样对每行执行rstrip()去除空白。

 with open('inputFile.txt', 'r') as fRead: 
  srcPaths = fRead.readlines() #txt中所有字符串读入list列表srcPaths 
  random.shuffle(srcPaths) #打乱list顺序
  for img_path in srcPaths:
  img_path = img_path.rstrip()

以上关于Python不同方式读取文件速度的实例分享完毕,希望能为读者提供参考。欢迎大家继续支持本站,获取更多技术内容。

相关标签:

免责声明:本文内容仅供参考,不代表本站观点。转载或引用请注明出处。

Python 相关产品和应用

全部下载
Selenium

Selenium

4.51.0 · Windows

用于浏览器自动化和 Web 测试的 Python 工具。

scikit-learn

scikit-learn

1.9.1 · Windows

常用 Python 机器学习算法与模型评估工具库。

Black

Black

26.10.1 · Windows

强调一致性的 Python 自动代码格式化工具。

Ruff

Ruff

0.17.1 · macOS

由 Rust 编写的高速 Python 代码检查和格式化工具。

pytest

pytest

9.1.1 · Windows

简洁而强大的 Python 自动化测试框架。

FastAPI

FastAPI

0.146.0 · Windows

高性能 Python API 框架,支持类型提示和自动接口文档。

Flask

Flask

3.1.3 · Windows

轻量灵活的 Python Web 应用框架。

Django

Django

6.1.2 · Windows

成熟的 Python Web 框架,适合构建内容站点和业务系统。

Spyder

Spyder

6.1.7 · Windows

面向科学计算与数据分析的 Python 集成开发环境。

SciPy

SciPy

1.18.1 · Windows

面向科学、工程和技术计算的 Python 算法库。