pandas分组排序获取第二大及最大数据的方法
本文介绍如何使用Python pandas库进行分组排序并获取组内第二大或最大的数据。通过groupby结合apply函数,可自定义逻辑提取特定排名数值;对于按列排序后取最大行的需求,可利用sort_values配合groupby的first或head方法实现高效数据筛选。
Python在数据分析领域应用广泛,网络上关于查找数据中第二大值的教程多集中于SQL,因此尝试使用Python实现这一功能(主要因为SQL掌握程度有限)。以下是具体实现代码。
1、数据构造
实际工作场景中,数据通常从数据库导入,后续会补充数据库导出相关操作说明。
import pandas as pd
df = pd.DataFrame([
{"class": 1, "name": "aa", "english": 120},
{"class": 1, "name": "bb", "english": 110},
{"class": 1, "name": "cc", "english": 110},
{"class": 1, "name": "dd", "english": 110},
{"class": 2, "name": "ee", "english": 120},
{"class": 2, "name": "ff", "english": 140},
{"class": 2, "name": "gg", "english": 130},
{"class": 2, "name": "hh", "english": 130},
{"class": 3, "name": "tt", "english": 130},
{"class": 4, "name": "xx", "english": 130},
{"class": 4, "name": "yy", "english": 130},
{"class": 5, "name": "zz", "english": None},
])
2、分组提取第二大数据
def fun(df):
# english数据去重
sort_set = set(df["english"].values.tolist())
if len(sort_set)<=1:
# 数据量小于等于1,无法取到第二大的数据
return None
else:
# 取english中第二大的值
sort_value = sorted(sort_set,reverse=True)[1]
temp_df = df[df["english"]==sort_value]
return temp_df
df = df.groupby(by=["class"]).apply(fun).reset_index(drop=True)
print(df)
运行结果如下:
class name english
0 1 bb 110.0
1 1 cc 110.0
2 1 dd 110.0
3 2 gg 130.0
4 2 hh 130.0
3、总结
该方法同样适用于获取最大值、最小值或第三大值等其他排名需求。
补充:pandas按列A排序,并按B和C两列分组,选取分组后A列值最大的行。
pandas按列A排序,并按B和C两列分组,选取分组后A列值最大的行。
一、需求描述
要求按updateTime列倒序排序,依据B和C两列进行分组,在每组中选取最后更新时间的那一行数据,并重新生成索引。
二、代码实现
import pandas as pd
data = pd.read_csv('test.csv')
df = pd.DataFrame(data)
df = df.sort_values('updateTime', ascending=False).groupby(['B','C']).first().reset_index()
first()函数用于选择每组的第一行,若需选取多行,可使用head()函数,例如head(5)表示选取前五行。
示例如下:
import pandas as pd
data = pd.read_csv('test.csv',header = 0)
df = pd.DataFrame(data)
# 按日期分组,分组后对 value 列从大到小排序,取每组前十行
df = df.groupby('date', group_keys=False).apply(lambda x: x.sort_values('value', ascending=False)).groupby('date').head(10).reset_index()
当无法直接使用sort_values()函数时,可改用apply()函数进行处理。
以上为个人经验分享,旨在提供参考,欢迎指正不足与错误。
免责声明:本文内容仅供参考,不代表本站观点。转载或引用请注明出处。









