13个Pandas高效数据处理技巧：从缺失值到内存优化
本文整理了13个Pandas高频使用技巧，涵盖计算变量缺失率、获取分组最大值行、多列合并、特定字符串行删除、组内排序、类型筛选、字符串转数值、内存占用优化、最大类别筛选、字符串分割、列表转DataFrame、多函数聚合及字典分组等场景，帮助开发者提升数据处理效率。
Pandas高效数据处理技巧概览
本文内容源自风控猎人的原创分享。
由数据管道团队进行整理与编辑。
这里归纳了日常工作中常用的一些Pandas操作技巧，旨在帮助开发者更高效地完成数据分析任务。
数据清洗与基础操作技巧
1. 计算变量缺失率
df=pd.read_csv('titanic_train.csv')
def missing_cal(df):
"""
df :数据集
return：每个变量的缺失率
"""
missing_series = df.isnull().sum()/df.shape[0]
missing_df = pd.DataFrame(missing_series).reset_index()
missing_df = missing_df.rename(columns={'index':'col',
0:'missing_pct'})
missing_df = missing_df.sort_values('missing_pct',ascending=False).reset_index(drop=True)
return missing_df
missing_cal(df)若需计算样本中各变量的缺失率分布，只需在相关计算中加入参数 axis=1 即可实现。
分组统计与排序进阶技巧
2. 获取分组中最大值所在的行
此方法需区分分组内是否存在重复值的情况。首先处理无重复值的场景。
df = pd.DataFrame({'Sp':['a','b','c','d','e','f'], 'Mt':['s1', 's1', 's2','s2','s2','s3'], 'Value':[1,2,3,4,5,6], 'Count':[3,2,5,10,10,6]})
df
df.iloc[df.groupby(['Mt']).apply(lambda x: x['Count'].idxmax())]先按 Mt 列进行分组，随后对分组后的数据框应用 idxmax 函数以提取 Count 最大值所在的索引列，最后利用 iloc 位置索引选取对应的行数据。
df["rank"] = df.groupby("ID")["score"].rank(method="min", ascending=False).astype(np.int64)
df[df["rank"] == 1][["ID", "class"]]接着处理存在重复值的情况。对 ID 列进行分组后，对 score 字段应用 rank 函数，相同分数将获得相同的排名，随后筛选出排名为 1 的数据记录。
3. 多列合并为一行
df = pd.DataFrame({'id_part':['a','b','c','d'], 'pred':[0.1,0.2,0.3,0.4], 'pred_class':['women','man','cat','dog'], 'v_id':['d1','d2','d3','d1']})
df.groupby(['v_id']).agg({'pred_class': [', '.join],'pred': lambda x: list(x),
'id_part': 'first'}).reset_index()4. 删除包含特定字符串的行
df = pd.DataFrame({'a':[1,2,3,4], 'b':['s1', 'exp_s2', 's3','exps4'], 'c':[5,6,7,8], 'd':[3,2,5,10]})
df[df['b'].str.contains('exp')]5. 组内排序
df = pd.DataFrame([['A',1],['A',3],['A',2],['B',5],['B',9]], columns = ['name','score'])此处介绍两种高效的组内排序实现方法。
df.sort_values(['name','score'], ascending = [True,False])
df.groupby('name').apply(lambda x: x.sort_values('score', ascending=False)).reset_index(drop=True)数据类型处理与内存优化
6. 选择特定数据类型的列
drinks = pd.read_csv('data/drinks.csv')
# 选择所有数值型的列
drinks.select_dtypes(include=['number']).head()
# 选择所有字符型的列
drinks.select_dtypes(include=['object']).head()
drinks.select_dtypes(include=['number','object','category','datetime']).head()
# 用 exclude 关键字排除指定的数据类型
drinks.select_dtypes(exclude=['number']).head()7. 字符串转换为数值类型
df = pd.DataFrame({'列1':['1.1','2.2','3.3'],
'列2':['4.4','5.5','6.6'],
'列3':['7.7','8.8','-']})
df
df.astype({'列1':'float','列2':'float'}).dtypes直接转换第三列可能会出错，因为该列包含代表 0 的下划线，Pandas 无法自动识别该符号。为解决此问题，可使用 to_numeric() 函数处理第三列，使 Pandas 将任何无效输入转换为 NaN。
df = df.apply(pd.to_numeric, errors='coerce').fillna(0)8. 优化 DataFrame 的内存占用
方法一：仅读取实际需要的列，通过 usecols 参数指定。
cols = ['beer_servings','continent']
small_drinks = pd.read_csv('data/drinks.csv', usecols=cols)方法二：将包含类别型数据的 object 列转换为 Category 数据类型，可通过指定 dtype 参数来实现。
dtypes ={'continent':'category'}
smaller_drinks = pd.read_csv('data/drinks.csv',usecols=cols, dtype=dtypes)高级聚合与数据转换技巧
9. 根据最大类别筛选 DataFrame
movies = pd.read_csv('data/imdb_1000.csv')
counts = movies.genre.value_counts()
movies[movies.genre.isin(counts.nlargest(3).index)].head()10. 将字符串分割为多列
df = pd.DataFrame({'姓名':['张 三','李 四','王 五'],
'所在地':['北京-东城区','上海-黄浦区','广州-白云区']})
df
df.姓名.str.split(' ', expand=True)11. 将 Series 中的列表转换为 DataFrame
df = pd.DataFrame({'列1':['a','b','c'],'列2':[[10,20], [20,30], [30,40]]})
df
df_new = df.列2.apply(pd.Series)
pd.concat([df,df_new], axis='columns')12. 使用多个函数进行聚合
orders = pd.read_csv('data/chipotle.tsv', sep='\t')
orders.groupby('order_id').item_price.agg(['sum','count']).head()13. 分组聚合操作
import pandas as pd
df = pd.DataFrame({'key1':['a', 'a', 'b', 'b', 'a'],
'key2':['one', 'two', 'one', 'two', 'one'],
'data1':np.random.randn(5),
'data2':np.random.randn(5)})
df
for name, group in df.groupby('key1'):
print(name)
print(group)
dict(list(df.groupby('key1')))可以通过字典或 Series 进行分组操作。
people = pd.DataFrame(np.random.randn(5, 5),
columns=['a', 'b', 'c', 'd', 'e'],
index=['Joe', 'Steve', 'Wes', 'Jim', 'Travis'])
mapping = {'a':'red', 'b':'red', 'c':'blue',
'd':'blue', 'e':'red', 'f':'orange'}
by_column = people.groupby(mapping, axis=1)
by_column.sum()以上即为13个Pandas实用技巧的详细内容，旨在提升开发效率。如需了解更多Pandas相关技巧，请关注本站其他文章。
免责声明：本文内容仅供参考，不代表本站观点。转载或引用请注明出处。
