Python利用Pandas按固定时间间隔分割数据并统计频数

Theo

发布时间：2026-10-13| 3人浏览过

原创

本文介绍如何使用Python的Pandas库将数据按固定时间间隔（如5秒）分割为相等的时间块，并统计每个块内特定字段（如IP地址）的出现频数。通过解析日期格式、生成时间范围索引及切片计算，实现高效的数据处理。

本文主要探讨在Python编程中，如何利用Pandas库将数据分割为时间跨度相等的多个数据块。

首先展示示例数据，该数据以DataFrame格式存储，包含date和ip两列。目标是统计每5秒内出现的IP地址及其出现的次数。

 ip   date
0 127.0.0.21 15/Jul/2017:18:22:16
1 127.0.0.13 15/Jul/2017:18:22:16
2 127.0.0.11 15/Jul/2017:18:22:17
3 127.0.0.11 15/Jul/2017:18:22:20
4 127.0.0.21 15/Jul/2017:18:22:21
5 127.0.0.13 15/Jul/2017:18:22:22
6 127.0.0.14 15/Jul/2017:18:26:36
7 127.0.0.16 15/Jul/2017:18:32:15
8 127.0.0.11 15/Jul/2017:18:36:03

经过网络搜索，未发现Python相关的直接解决方案，但在StackOverflow上找到了R语言的类似解法，感兴趣者可参考。

受上述思路启发，本文采用一种非最优但可行的方式实现了需求，若有更佳的解决方法，欢迎交流指正。

第一步：将数据中的日期字段转换为标准格式。

#date_ip为我的dataframe数据
date_ip['date'] = pd.to_datetime(date_ip['date'], format='%d/%b/%Y:%H:%M:%S')

第二步：根据数据的起始时间和结束时间，按5秒间隔生成时间范围。考虑到时间段可能不是5秒的整数倍，为避免最后一个时间片段的数据丢失，在结束时间后额外增加5秒。

frequency = 5
time_range = pd.date_range(date_ip['date'][0],
    date_ip['date'][date_ip.shape[0]-1]
    +frequency*Second(), freq='%sS'%frequency)

第三步：将date列设置为DataFrame的索引。

date_ip = date_ip.set_index('date')

第四步：对每个时间段内的数据进行频数统计。由于通过标签切片时通常会包含起始和结束数据，为避免重复计算，在切片结束位置前减去1秒。

for i in xrange(0,len(time_range)-1):
 print get_frequency(date_ip.loc[time_range[i]:time_range[i+1]-1*Second()])

完整的实现代码如下。

import pandas as pd
from pandas.tseries.offsets import Second
def get_frequency(date_ip):
 ip_frequency = {}
 for i in xrange(0,date_ip.shape[0]):
 ip_frequency[date_ip['ip'][i]] = ip_frequency.get(date_ip['ip'][i], 0) + 1
 return ip_frequency,date_ip.shape[0]

if __name__ == '__main__': 
 date_ip['date'] = pd.to_datetime(date_ip['date'], format='%d/%b/%Y:%H:%M:%S')

 frequency = 5
 time_range = pd.date_range(date_ip['date'][0], date_ip['date'][date_ip.shape[0]-1]
    +frequency*Second(), freq='%sS'%frequency) 
 date_ip = date_ip.set_index('date')
 for i in xrange(0, len(time_range) - 1):
 print get_frequency(date_ip.loc[time_range[i]:time_range[i + 1]-1*Second()])

使用文章开头的示例数据运行上述代码，得到的结果如下。

({'127.0.0.21' : 1, '127.0.0.13' : 1, '127.0.0.11' : 2}, 4)
({'127.0.0.21': 1, '127.0.0.13': 1}, 2)
({'127.0.0.14': 1}, 1)
({'127.0.0.16': 1}, 1)
({'127.0.0.11': 1}, 1)