Python高效读取CSV指定行：skiprows与nrows参数详解

叶初

发布时间：2026-10-12| 2人浏览过

原创

本文介绍如何利用Pandas的skiprows和nrows参数高效读取CSV文件中特定范围的行，避免全量加载导致内存溢出。同时提供根据列值筛选并获取对应索引的方法，适用于大规模数据处理场景。

前言

面对从CSV文件中选取特定行的需求，许多开发者会直接想到使用df.col[]这样的列选择操作。然而，这种方法隐含了一个巨大的性能隐患：它要求先将整个CSV文件加载到内存中。当处理数据量达到亿级规模的超大文件时，这种全量读取的方式极易引发内存溢出（OOM），导致程序崩溃。

为了解决这一问题，我们可以利用Pandas读取CSV文件时的两个关键参数：nrows和skiprows。其中，skiprows用于指定跳过前面的行数（即从哪一行开始读取），而nrows则用于指定读取的行数。通过组合使用这两个参数，可以实现按需读取，例如从第3行开始读取4行数据，从而大幅降低内存消耗。

示例代码

import pandas as pd
df = pd.DataFrame({'a':[1,2,3,4,5,6,7,8,9],'b':[22,33,44,55,66,77,88,99,10]})
df.to_csv('test.csv')
dt = pd.read_csv('test.csv',skiprows=5,nrows=3)
 
print(dt)
 
 
out:
 4 5 66
0 5 6 77
1 6 7 88
2 7 8 99
3 8 9 10

执行上述代码即可实现指定行的读取。需要注意的是，输出的列头可能显示为数字索引，这是Pandas在特定读取模式下的默认行为。此外，如果需要根据列的具体数值来查找对应的行索引（Index），可以参考后续的代码示例。

接着，我们演示如何根据列值筛选数据并获取其索引列表。

df = pd.DataFrame({'BoolCol': [1, 2, 3, 3, 4],'attr': [22, 33, 22, 44, 66]},
  index=[10,20,30,40,50])
print(df)
a = df[(df.BoolCol==3)&(df.attr==22)].index.tolist()
print(a)
 
 
df = pd.DataFrame({'BoolCol': [1, 2, 3, 3, 4],'attr': [22, 33, 22, 44, 66]},
  index=[10,20,30,40,50])
print(df)
a = df[(df.BoolCol==3)&(df.attr==22)].index.tolist()
print(a)

通过上述方法，问题得以解决。

总结

以上就是本文的全部内容，希望本文关于Python高效处理CSV文件的内容能对各位的学习或工作提供有价值的参考。感谢大家对本站的支持。