pandas中.loc、.iloc、.at和.iat的区别与性能对比

.loc与.iloc的基本区别

pandas提供了基于标签和基于整数位置的两种主要索引方式，分别对应.loc和.iloc。理解它们的差异是高效使用pandas的基础。

.loc：基于标签的显式索引

.loc方法通过行和列的名称（标签）来访问数据。它支持切片操作，且切片范围包含结束位置。

import pandas as pd
# 创建示例数据
df = pd.DataFrame({'姓名':['张三','李四','王五'],'成绩':[85,59,76]})

# 获取索引为2的记录（即第三行）
df.loc[2]  # 返回王五的成绩

# 获取所有行的'姓名'列
df.loc[:,'姓名']  # 筛选出姓名这一列

.iloc：基于整数位置的隐式索引

.iloc方法仅接受整数作为参数，通过行和列的整数位置来访问数据。其切片行为与Python列表类似，遵循左闭右开原则。

# 获取前两行数据（索引0和1）
df.iloc[:2,:]  # 返回张三和李四的成绩

# 注意：.iloc不能直接使用列名，必须使用整数索引
df.iloc[:,'成绩']  # 这将报错，因为'成绩'不是整数

.at与.iat：快速标量访问

当需要访问单个元素时，.at和.iat提供了比.loc和.iloc更快的访问速度。.at基于标签，.iat基于整数位置。

# 使用.at通过标签访问单个元素
df.at[1,'成绩']  # 获取李四的成绩

# 使用.iat通过整数位置访问单个元素
df.iat[1,1]  # 效果类似于.iloc，但速度更快

大规模数据查找的性能对比

在处理大规模数据集时，索引方法的选择对性能有显著影响。以下测试基于包含大量硬盘序列号的数据集（ST4000DM000_2016_good_feature27），对比三种不同查找方式的耗时。

方法一：直接方括号定位

通过条件筛选直接定位相等的列，这种方式在循环中执行，性能较差。

from time import time
start = time()
for disk in goodDiskName2016[:100]:
    ST4000DM000_2016_good_feature27[ST4000DM000_2016_good_feature27.serial_number==disk][features27[0]]
print(time()-start)  # 耗时约 82.94 秒

方法二：使用.loc定位

直接使用.loc进行条件筛选，性能略有提升，但仍不够理想。

start = time()
for disk in goodDiskName2016[:100]:
    ST4000DM000_2016_good_feature27.loc[ST4000DM000_2016_good_feature27.serial_number==disk][features27[0]]
print(time()-start)  # 耗时约 82.49 秒

方法三：设置索引后使用.loc查找

将序列号列设置为索引后，通过.loc直接查找，性能大幅提升。

# 将serial_number列设置为索引
b = ST4000DM000_2016_good_feature27.set_index('serial_number')

start = time()
for disk in goodDiskName2016[:100]:
    b.loc[disk][features27[0]]
print(time()-start)  # 耗时约 25.71 秒

方法四：设置索引后使用.at定位

在设置索引的基础上，使用.at进行标量访问，性能达到最优。

start = time()
for disk in goodDiskName2016[:100]:
    b.at[disk,features27[0]]
print(time()-start)  # 耗时约 25.68 秒

总结

.loc和.iloc分别适用于基于标签和基于整数位置的索引，.at和.iat则用于快速访问单个元素。在大规模数据查找中，将查询列设置为索引并使用.at定位，可以显著提升性能。以上就是pandas中.loc、.iloc、.at和.iat的区别说明的详细内容，更多关于pandas索引优化的资料请关注本站其它相关文章！