python必背源代码pandas筛选和分组代码

桃夭
桃夭
发布时间:2026-11-21| 13人浏览过
原创

精选Python数据分析中最高频的Pandas筛选和分组必背核心源代码。涵盖布尔掩码、query表达式、loc切片、多条件匹配以及groupby、agg命名聚合、transform广播与filter组过滤,配图详解运行原理与高频避坑要点。

在日常使用 Python 进行数据清洗与分析时,数据筛选(Filter)与分组聚合(GroupBy)是最基础也是出现频率最高的操作。掌握这些核心源代码能够帮助分析人员直接过滤出目标记录、分维度汇总核心业务指标,并彻底避开诸如 SettingWithCopyWarning 等常见警告与性能陷阱。
python必背源代码pandas筛选和分组代码
图 0:Pandas 核心数据操作全貌——从行级别切片筛选到分组聚合汇总

一、准备演示环境与基准数据集

为了保证文中所有源代码可直接复制运行并对比验证,本文使用一份包含员工部门、城市、薪资、绩效评分与入职状态的标准数据集作为演示基准。

import pandas as pd
import numpy as np

# 构造演示数据集
data = {
    'name': ['张三', '李四', '王五', '赵六', '钱七', '孙八', '周九', '吴十'],
    'dept': ['研发部', '研发部', '市场部', '研发部', '市场部', '运营部', '运营部', '研发部'],
    'city': ['北京', '上海', '北京', '深圳', '上海', '北京', '广州', '北京'],
    'salary': [18000, 22000, 15000, 26000, 12000, 16000, 14000, 31000],
    'score': [85, 92, 78, 95, 88, 82, 79, 98],
    'status': ['在职', '在职', '在职', '离职', '在职', '在职', '离职', '在职']
}

df = pd.DataFrame(data)
print(df)
示例运行输出
name dept city salary score status 0 张三 研发部 北京 18000 85 在职 1 李四 研发部 上海 22000 92 在职 2 王五 市场部 北京 15000 78 在职 3 赵六 研发部 深圳 26000 95 离职 4 钱七 市场部 上海 12000 88 在职 5 孙八 运营部 北京 16000 82 在职 6 周九 运营部 广州 14000 79 离职 7 吴十 研发部 北京 31000 98 在职

二、Pandas 核心筛选必背源代码

筛选的本质是通过布尔序列(Boolean Mask)从原始 DataFrame 中挑选满足特定条件的行。根据条件复杂度与匹配类型,常用的筛选方式分为五类。

python必背源代码pandas筛选和分组代码
图 1:Pandas 布尔索引筛选的底层评估与子集提取执行流程

1. 单条件与多条件布尔索引

多条件判断时必须使用位运算符 &(与)、|(或)、~(非),且每个子条件必须用小括号括起来。这是因为 Python 原生逻辑运算符 and/or 无法直接作用于向量序列,且位运算符的优先级高于比较运算符。

# 1. 单条件筛选:薪资大于 20000 的员工
res_single = df[df['salary'] > 20000]

# 2. 多条件与(&):研发部且在职员工(注意各子条件必须加小括号)
res_and = df[(df['dept'] == '研发部') & (df['status'] == '在职')]

# 3. 多条件或(|):城市在北京或薪资超过 25000
res_or = df[(df['city'] == '北京') | (df['salary'] > 25000)]

# 4. 非条件(~):筛选不在职的记录
res_not = df[~(df['status'] == '在职')]
示例输出:多条件与(res_and)
name dept city salary score status 0 张三 研发部 北京 18000 85 在职 1 李四 研发部 上海 22000 92 在职 7 吴十 研发部 北京 31000 98 在职

2. 离散集合与数值区间筛选:isin 与 between

当需要匹配多个枚举值或判断连续数值区间时,使用 isin() 与 between() 比多重 | 拼接更简洁高效。

# 1. isin 筛选:属于研发部或运营部
res_isin = df[df['dept'].isin(['研发部', '运营部'])]

# 2. between 筛选:薪资在 15000 到 25000 之间(闭区间,两端均包含)
res_between = df[df['salary'].between(15000, 25000)]

3. 字符串与正则匹配:str.contains

对于文本列的子串查找,使用 str.contains()。生产环境中必须显式加入 na=False 参数,防止文本中存在缺失值时产生布尔混合类型报错。

# 查找城市包含“海”或“州”的记录
res_str = df[df['city'].str.contains('海|州', regex=True, na=False)]

4. 表达更自然的动态查询:df.query()

query() 方法允许直接传入类似 SQL 的文本表达式,代码无需反复书写 df[...]。当需要引用外部 Python 变量时,只需在变量名前加上 @ 符号。

min_salary = 15000
target_depts = ['研发部', '市场部']

# 引用外部变量进行链式查询
res_query = df.query("salary >= @min_salary and dept in @target_depts and status == '在职'")
示例输出:query 查询结果
name dept city salary score status 0 张三 研发部 北京 18000 85 在职 1 李四 研发部 上海 22000 92 在职 2 王五 市场部 北京 15000 78 在职 7 吴十 研发部 北京 31000 98 在职

5. 显式行与列同时定位:.loc 与 .iloc

如果筛选行的同时需要投影指定列,或者需要对筛选出来的子集赋值,必须使用 .loc[行条件, 列列表],严禁使用类似 df[条件]['列名'] = 值 的链式索引。

# 筛选北京员工,且仅取出姓名与薪资两列
res_loc = df.loc[df['city'] == '北京', ['name', 'salary']]

# 安全修改:将离职员工的状态统一更新为“已归档”(避免 SettingWithCopyWarning)
df_safe = df.copy()
df_safe.loc[df_safe['status'] == '离职', 'status'] = '已归档'

三、Pandas 核心分组必背源代码

Pandas 的分组计算严格遵循 拆分-应用-合并(Split-Apply-Combine) 原理。分组之后,数据可以进行三种不同方向的运算:聚合(产生汇总标量)、转换(保留原形状广播)与组级过滤。

python必背源代码pandas筛选和分组代码
图 2:GroupBy Split-Apply-Combine 底层机制与三种核心计算形态

1. 基础单列与多列分组统计

最常规的用法是指定分组键后提取目标列求基础统计量(如 mean()、sum()、count()、max() 等)。

# 1. 单列分组单统计项:计算各部门平均薪资
dept_avg_sal = df.groupby('dept')['salary'].mean()

# 2. 多列复合分组:按部门和城市双维度统计员工人数
dept_city_count = df.groupby(['dept', 'city'])['name'].count()

2. 高阶精细化聚合:groupby().agg() 与命名聚合

在实际生产中,往往需要同时统计多个字段的不同指标。Pandas 推荐使用命名聚合(Named Aggregation),直接为统计结果指定清晰平整的列名,彻底避免多层索引(MultiIndex)带来的重命名烦恼。

# 推荐写法:命名聚合(Named Aggregation)
res_agg_named = df.groupby('dept').agg(
    emp_count=('name', 'count'),       # 员工人数
    avg_salary=('salary', 'mean'),     # 平均薪资
    max_salary=('salary', 'max'),     # 最高薪资
    avg_score=('score', 'mean')        # 平均绩效分
).reset_index()

print(res_agg_named)
示例运行输出:规范化的命名聚合结果
dept emp_count avg_salary max_salary avg_score 0 市场部 2 13500.0 15000 83.5 1 研发部 4 24250.0 31000 92.5 2 运营部 2 15000.0 16000 80.5

3. 保持原行数的组内广播计算:groupby().transform()

agg() 会将每个组的多行数据折叠为一行,而 transform() 则会在各组内完成统计计算后,将结果广播回该组对应的每一行,输出的 Series 长度与原表完全一致。这在特征工程、计算相对偏差、组内缺失值均值填充时必不可少。

# 1. 计算每个员工的薪资相较于本部门平均薪资的差额
df['dept_mean_sal'] = df.groupby('dept')['salary'].transform('mean')
df['diff_from_dept'] = df['salary'] - df['dept_mean_sal']

# 2. 计算员工薪资在其所属部门内的占比
df['sal_dept_pct'] = df['salary'] / df.groupby('dept')['salary'].transform('sum')

print(df[['name', 'dept', 'salary', 'dept_mean_sal', 'diff_from_dept']])
示例运行输出:transform 广播对齐结果
name dept salary dept_mean_sal diff_from_dept 0 张三 研发部 18000 24250.0 -6250.0 1 李四 研发部 22000 24250.0 -2250.0 2 王五 市场部 15000 13500.0 1500.0 3 赵六 研发部 26000 24250.0 1750.0 4 钱七 市场部 12000 13500.0 -1500.0 5 孙八 运营部 16000 15000.0 1000.0 6 周九 运营部 14000 15000.0 -1000.0 7 吴十 研发部 31000 24250.0 6750.0

4. 整组级别条件剔除:groupby().filter()

filter() 用于对分组本身进行布尔判断。若某分组满足传入 lambda 函数的条件,则保留该组内所有的原始记录;若不满足,则整组剔除。

# 仅保留员工总数大于等于 3 人的大部门的所有员工记录
res_filtered_group = df.groupby('dept').filter(lambda g: len(g) >= 3)

四、筛选与分组方法特性与选型对照

面对同一个业务问题,Pandas 通常有多种实现方式。根据代码执行效率、内存占用以及语义清晰度,以下是高频操作的特性对比。

python必背源代码pandas筛选和分组代码
图 3:Pandas 筛选与分组核心方法特性矩阵与选型对比

五、筛选与分组的高频联用实战范式

在实际业务脚本中,筛选与分组极少孤立存在。掌握两者联合使用的最佳实践是编写整洁代码的关键。

1. “先筛选再分组”与“先分组后筛选”的选择

黄金原则:尽量“先筛选、后分组”。 提前通过布尔索引或 query 过滤掉无关记录(例如过滤已离职员工、异常值),可以成倍降低后续分组、哈希计算和聚合运算的数据规模。

# 推荐:先过滤在职员工,再统计各部门平均薪资
res_chain = (
    df.query("status == '在职'")
      .groupby('dept')
      .agg(
          active_emps=('name', 'count'),
          avg_salary=('salary', 'mean')
      )
      .reset_index()
      .query("avg_salary > 15000")  # 聚合后再次筛选高薪部门
)
print(res_chain)
示例运行输出
dept active_emps avg_salary 0 研发部 3 23666.666667 1 运营部 1 16000.000000

六、高频避坑指南与性能注意事项

python必背源代码pandas筛选和分组代码
图 4:Pandas 筛选与分组必背源代码速查与生产避坑全景脑图
避坑 1:SettingWithCopyWarning 警告的根治
当你写出 sub_df = df[df['salary'] > 20000] 后,紧接着对 sub_df['flag'] = 1 赋值时,Pandas 会抛出警告。这是因为 sub_df 可能是原 DataFrame 的一个“视图(View)”而非独立“副本(Copy)”。
解决方案: 只要筛选出的子集需要后续修改赋值,务必显式调用 .copy():
sub_df = df[df['salary'] > 20000].copy()
避坑 2:分组列存在缺失值(NaN)的默认丢弃陷阱
在 Pandas 默认机制下,groupby() 的参数 dropna=True 会自动忽略分组列为 NaN 的记录,导致这部分数据在最终汇总表中直接消失。
解决方案: 若需要将空值单独归为一组统计,请显式设置 dropna=False:
df.groupby('dept', dropna=False)['salary'].mean()
避坑 3:百万级大数据量下的性能加速
当数据行数达到百万级别以上时,重复在字符列上进行 groupby 会耗费大量哈希运算时间。
解决方案: 在分组前将字符串分组键转换为分类数据类型(Categorical),计算速度通常可提升 2 到 5 倍:
df['dept'] = df['dept'].astype('category')

七、核心代码极简速查清单

需求场景 必背核心源代码模板
多条件与筛选 df[(df['col1'] > a) & (df['col2'] == 'b')]
枚举匹配 df[df['col'].isin(['v1', 'v2'])]
数值区间 df[df['col'].between(low, high)]
子串模糊匹配 df[df['col'].str.contains('keyword', na=False)]
动态传参查询 df.query('salary > @threshold and dept == @target')
多字段命名聚合 df.groupby('k').agg(new_col=('val', 'mean')).reset_index()
组内对齐广播 df['grp_avg'] = df.groupby('k')['val'].transform('mean')
组级别整组过滤 df.groupby('k').filter(lambda x: len(x) >= 5)
相关专题:

免责声明:本文内容仅供参考,不代表本站观点。转载或引用请注明出处。

Python 相关产品和应用

全部下载
Selenium

Selenium

4.51.0 · Windows

用于浏览器自动化和 Web 测试的 Python 工具。

scikit-learn

scikit-learn

1.9.1 · Windows

常用 Python 机器学习算法与模型评估工具库。

Black

Black

26.10.1 · Windows

强调一致性的 Python 自动代码格式化工具。

Ruff

Ruff

0.17.1 · macOS

由 Rust 编写的高速 Python 代码检查和格式化工具。

pytest

pytest

9.1.1 · Windows

简洁而强大的 Python 自动化测试框架。

FastAPI

FastAPI

0.146.0 · Windows

高性能 Python API 框架,支持类型提示和自动接口文档。

Flask

Flask

3.1.3 · Windows

轻量灵活的 Python Web 应用框架。

Django

Django

6.1.2 · Windows

成熟的 Python Web 框架,适合构建内容站点和业务系统。

Spyder

Spyder

6.1.7 · Windows

面向科学计算与数据分析的 Python 集成开发环境。

SciPy

SciPy

1.18.1 · Windows

面向科学、工程和技术计算的 Python 算法库。