Python统计日志IP访问频次的完整实现方法

Python统计日志IP访问频次的核心逻辑

在处理Web服务器访问记录时，直接查看原始日志往往难以直观掌握流量分布。通过编写轻量级Python脚本，可以自动剥离无关字段，仅提取IP地址并进行频次聚合。该方案无需依赖外部库，执行效率高，非常适合日常运维监控与基础数据分析。

完整实现步骤与代码说明

以下代码已针对Python 3环境优化，修复了旧版本的语法限制。整体流程分为规则定义、循环统计与结果输出三个阶段。

第1步：定义IP提取正则表达式

目的：标准化日志结构，锁定目标字段。
入口：调用re模块编译模式。
动作：构建以#开头并后接标准IPv4地址的正则字符串。
参数：r'^#\s*((?:\d{1,3}\.) {3}\d{1,3})'（忽略多余空格，捕获第一段数字组）。
完成状态：re对象就绪，可高效返回匹配组。

import re

# 编译IP匹配规则
ip_pattern = re.compile(r'^#\s*((?:\d{1,3}\.) {3}\d{1,3})')

第2步：逐行扫描并累积统计次数

目的：读取日志流并将命中数据转化为数值映射。
入口：使用with open()安全打开日志文件。
动作：利用迭代器逐行遍历，触发匹配条件后调用字典方法。
参数：dict.get(key, default)用于处理首次出现或重复出现的键值。
完成状态：ip_counts字典内存入各IP及其对应的请求总数。

log_file_path = "/var/log/access.log"
ip_counts = {}

with open(log_file_path, "r", encoding="utf-8") as f:
    for line in f:
        match = ip_pattern.match(line.strip())
        if match:
            ip = match.group(1)
            # 若IP不存在则初始化为1，存在则自增
            ip_counts[ip] = ip_counts.get(ip, 0) + 1

第3步：遍历字典输出排序结果

目的：将内存中的哈希结构转换为可读报表。
入口：遍历已填充的统计字典。
动作：格式化拼接IP与计数值，按指定逻辑输出控制台。
参数：无额外参数，依赖系统标准I/O。
完成状态：终端打印出按出现顺序排列的IP->次数清单。

# 获取所有IP并逆序排序（高频优先），也可直接遍历输出
sorted_ips = sorted(ip_counts.items(), key=lambda x: x[1], reverse=True)
for ip, count in sorted_ips:
    print(f"{ip} -> {count}")

关键语法解析与性能优化

原代码使用了setdefault方法控制默认值，这是一种符合Python直觉的写法。但在实际生产环境中，推荐使用dict.get(key, default)配合赋值语句，或直接使用collections.Counter类。后者底层由C语言实现，专为高频计数设计，在万级以上的日志量下能显著降低内存分配开销与GC压力。

执行异常排查指南

若运行脚本报错UnicodeDecodeError，请检查日志编码是否为UTF-8，必要时将encoding="utf-8"替换为"latin-1"或"gbk"。若部分特殊IP未被识别，通常是正则边界符未适配非标准掩码长度所致，此时需调整分组捕获范围。此外，超大日志文件建议改用生成器逐块读取，避免一次性加载导致内存溢出。

以上就是Python统计日志访问频次统计方法的详细内容，更多关于Python数据处理与自动化运维的资料请关注本站其它相关文章！