pandas 快速处理 date_time 日期格式方法

Dylan

发布时间：2026-10-13| 6人浏览过

原创

本文介绍如何在 pandas 中高效处理非标准日期格式。通过对比两种处理方式，展示使用 to_datetime 函数时指定 format 参数对提升处理速度的关键作用。示例显示，对于300万条数据，明确指定格式可将处理时间从10分钟缩短至10秒。

当数据量庞大且日期格式不规范时，若使用 pandas 的 to_datetime 函数不当，会导致处理耗时过长。提升处理速度的核心在于正确使用 format 参数。以下通过具体示例进行说明：

示例数据场景如下：

date 列的格式为 02.01.2013，即日.月.年

数据规模：3000000 条记录

transcation.head()
---------------------------------------------
   date date_block_num shop_id item_id item_price item_cnt_day
0 02.01.2013    0  59 22154  999.00   1.0
1 03.01.2013    0  25  2552  899.00   1.0
2 05.01.2013    0  25  2552  899.00   -1.0
3 06.01.2013    0  25  2554  1709.05   1.0
4 15.01.2013    0  25  2555  1099.00   1.0

第一种处理方式：

transactions['date_formatted']=pd.to_datetime(transactions['date'])

处理耗时：10min

第二种处理方式：

transactions['date_formatted']=pd.to_datetime(transactions['date'], format='%d.%m.%Y')

处理耗时：10s

附录：format 参数相关说明

代码	说明
%Y	4位数的年
%y	2位数的年
%m	2位数的月[01,12]
%d	2位数的日[01，31]
%H	时（24小时制）[00,23]
%l	时（12小时制）[01,12]
%M	2位数的分[00,59]
%S	秒[00,61]有闰秒的存在
%w	用整数表示的星期几[0（星期天），6]
%F	%Y-%m-%d简写形式例如，2017-06-27
%D	%m/%d/%y简写形式