Python pandas怎么根据日期范围筛选DataFrame数据

一、核心前置步骤：确保日期列为 datetime64 类型

很多初学者在根据日期筛选数据时遇到的首个问题是：执行了筛选语句，但返回的数据不全或直接为空。其最主要的原因在于目标日期列在加载时被识别为普通文本（object 或 string 类型）。

在普通字符串状态下，比较操作符依据的是字符的 ASCII 字典序。例如字符串 "2023-1-10" 在字典序上会排在 "2023-02-01" 之后，一旦混用非标准化格式就会引发不可预期的逻辑错漏。因此，所有筛选工作的第一步，都必须通过 pd.to_datetime() 完成类型标准化。

图 1：Pandas 日期筛选的标准四阶段执行链路

我们先构建一个包含不同订单日期的基础 DataFrame，作为全文各方法演示的数据基准：

import pandas as pd

# 构建模拟订单销售数据
raw_data = {
    'order_id': ['ORD-101', 'ORD-102', 'ORD-103', 'ORD-104', 'ORD-105', 'ORD-106'],
    'order_date': [
        '2023-10-01', 
        '2023-10-15', 
        '2023-10-31', 
        '2023-11-05', 
        '2023-11-20', 
        '2023-12-01'
    ],
    'amount': [1200.5, 450.0, 890.0, 3100.2, 760.0, 2150.0]
}

df = pd.DataFrame(raw_data)

# 关键步骤：转换为 datetime64 类型
df['order_date'] = pd.to_datetime(df['order_date'])

# 检查转换后的类型
print(df.dtypes)
print(df)

确认 order_date 列的 dtype 为 datetime64[ns] 后，即可放心地运用以下四种方法提取任意时间区间的数据。

二、方法一：布尔索引组合（& 运算符）

布尔索引是 Pandas 中最基础也是最通用的过滤机制。通过使用大于等于（>=）和小于等于（<=）两个布尔向量，配合逻辑与（&）运算符，即可圈定目标时间窗口。

# 设定日期边界（字符串格式会自动隐式转换为 Timestamp 比对）
start_date = '2023-10-15'
end_date = '2023-11-05'

# 执行布尔切片（注意：每个比较条件必须用圆括号括起来）
filtered_df = df[(df['order_date'] >= start_date) & (df['order_date'] <= end_date)]

print(filtered_df)

三、方法二：使用 Series.between() 方法（推荐首选）

针对单一列的连续闭区间或半开区间筛选，pandas 提供了语义更加精炼的内置方法 Series.between(left, right, inclusive='both')。该方法避免了重复书写两次列名，同时自带边界开闭配置。

# 使用 between 方法提取 2023-10-15 至 2023-11-05 区间（双闭区间）
result_between = df[df['order_date'].between('2023-10-15', '2023-11-05', inclusive='both')]

print(result_between)

在默认情况下，inclusive='both' 会同时包含起始日期与截止日期。如果业务场景需要排除端点，可以指定不同的参数取值：

• inclusive='both'：两端皆闭 [left, right]（默认值）；
• inclusive='neither'：两端皆开 (left, right)，不含两端日期；
• inclusive='left'：左闭右开 [left, right)；
• inclusive='right'：左开右闭 (left, right]。

图 2：between() 方法的四种边界模式与端点判定图解

例如，若只需筛选 10 月 15 日之后、但不含 11 月 5 日当天的数据，只需指定 inclusive='left'：

left_only = df[df['order_date'].between('2023-10-15', '2023-11-05', inclusive='left')]
print(left_only[['order_id', 'order_date']])

四、方法三：使用 DataFrame.query() 表达式筛选

DataFrame.query() 允许使用类似 SQL WHERE 子句的字符串表达式来进行条件过滤。对于日期范围判断，query() 原生支持如同数学表达式一般的连续比较运算符，如 @start <= date <= @end。

start_val = '2023-10-15'
end_val = '2023-11-05'

# 在 query 字符串中，前缀 '@' 符号代表引用当前 Python 环境中的局部或全局变量
query_df = df.query('@start_val <= order_date <= @end_val')

print(query_df)

query() 的显著优势在于：当需要进行多步链式处理（Method Chaining）或由外部函数动态组装查询参数时，代码十分整洁直观，避免在长链式语句中嵌套多次 df[...] 引用。

五、方法四：设置 DatetimeIndex 并使用 .loc 切片

当处理专门的时间序列数据（如股票行情、服务器监控指标、传感器日志）时，将日期时间列提升为 DataFrame 的索引（DatetimeIndex）是业界标准范式。通过 .loc[start:end]，不仅能够实现闭区间连续切片，还能享受 pandas 强大的时间解析加速与部分字符串匹配功能。

# 1. 复制一份数据并将 order_date 设置为索引
ts_df = df.set_index('order_date')

# 2. 关键前提：按时间顺序排序索引（未排序的切片可能导致报错或低效）
ts_df = ts_df.sort_index()

# 3. 使用 .loc 语法切片（日期字符串两端均包含）
sliced_df = ts_df.loc['2023-10-15':'2023-11-05']
print(sliced_df)

# 4. 支持更高级的部分匹配：直接截取 2023 年 10 月整月
october_df = ts_df.loc['2023-10']
print("\n-- 2023年10月份整月数据 --")
print(october_df)

图 3：四种日期筛选方案的语法、特性与适用场景全维度对比

六、实际开发中的三大易错点与解决方案

1. 时分秒截断问题（最常见的静默逻辑错误）

如果数据中的时间列带有具体的时分秒（如来自业务系统的打卡时间或支付流水：2023-10-31 16:45:00），直接使用 end_date = '2023-10-31' 作为截止点进行比对，会出现数据丢失。

因为纯日期字符串 '2023-10-31' 在转换为时间戳时，默认时刻为当天的零点 00:00:00。因此，任何发生在 10 月 31 日白天或晚上的记录都会因为大于零点而被过滤掉。

解决方式有以下两种：

• 方式 A（明确截止时分秒）：将结束参数明确设定为当天最后一刻 end_date = '2023-10-31 23:59:59.999999'，或将判断上限改为次日零点配合小于号 order_date < '2023-11-01'。
• 方式 B（抹平时分秒）：利用 df['order_date'].dt.normalize() 将所有时间统一规整到当天的 00:00:00，再进行日期比对。

2. 时区不匹配错误（Cannot compare tz-naive and tz-aware timestamps）

如果 DataFrame 的日期列包含时区信息（如通过 API 获取的 UTC 时间，dtype 为 datetime64[ns, UTC]），而用来筛选的变量是无时区的字符串或 Timestamp，执行比较时 pandas 会抛出时区异常。

解决方案：对比较变量补充时区声明，如使用 pd.Timestamp('2023-10-15', tz='UTC')，或者先用 df['order_date'].dt.tz_localize(None) 移除数据列中的时区约束，使其处于相同的时区维度。

3. 缺失值（NaT）的自动忽略与显式排查

当日期列中包含 NaT（Not a Time，时间缺失值）时，无论是 between() 还是布尔比较，NaT 与任何日期的比较结果都会判定为 False，即自动被过滤排除。如果业务上需要额外审计含有缺失时间的行，应通过 df[df['order_date'].isna()] 单独检查，切勿遗漏。

图 4：Pandas 日期范围筛选决策树与异常排障清单

七、可直接复用的综合实战代码模板

在日常脚本或工程代码中，推荐将上述清洗、类型转换与范围筛选封装为鲁棒性良好的通用函数：

import pandas as pd
from typing import Optional

def filter_by_date_range(
    df: pd.DataFrame,
    date_col: str,
    start_date: Optional[str] = None,
    end_date: Optional[str] = None,
    include_end_day: bool = True
) -> pd.DataFrame:
    """
    安全地按日期范围筛选 DataFrame 数据
    """
    # 浅拷贝避免 SettingWithCopyWarning
    res = df.copy()
    
    # 1. 确保目标列为 datetime 类型
    if not pd.api.types.is_datetime64_any_dtype(res[date_col]):
        res[date_col] = pd.to_datetime(res[date_col], errors='coerce')
    
    # 2. 起始边界处理
    if start_date is not None:
        t_start = pd.to_datetime(start_date)
        res = res[res[date_col] >= t_start]
        
    # 3. 结束边界处理（支持覆盖全天）
    if end_date is not None:
        t_end = pd.to_datetime(end_date)
        if include_end_day and t_end.hour == 0 and t_end.minute == 0 and t_end.second == 0:
            # 自动延展至当天 23:59:59.999999
            t_end = t_end + pd.Timedelta(days=1, microseconds=-1)
        res = res[res[date_col] <= t_end]
        
    return res

# 示例调用
cleaned_df = filter_by_date_range(df, date_col='order_date', start_date='2023-10-01', end_date='2023-10-31')
print(cleaned_df)