Python实现Nginx日志实时指标监控脚本
发布时间：2026-10-13| 2人浏览过
本文分享一个使用Python编写的Nginx日志实时分析脚本。针对ELK日志分割策略变更，脚本通过文件seek/tell机制记录读取位置，每5分钟统计2xx/4xx/5xx状态码、响应时间及带宽。解决了字符串比较导致的逻辑错误，并支持通过Zabbix Sender或Agent上报数据，实现实时监控与报警。
前言
Web运维中，实时关注域名的2xx/s、4xx/s、5xx状态码、响应时间以及带宽等指标至关重要。过去日志采用五分钟一分割，使用awk处理即可。但随着日志推送至ELK的需求，五分钟分割策略引发兼容性问题，因此调整为按天分割。由于单日日志量增大，Shell脚本处理变得不再合适，故改用Python编写处理脚本。
具体实现方法如下：
该脚本核心利用了文件的seek和tell函数，其工作原理如下：
1. 配置crontab，设定每5分钟执行一次脚本。
2. 仅分析从上次读取日志文件的结束位置到本次读取时文件末尾之间的新增日志内容，并输出结果。\n\n可以通过zabbix_sender将结果发送至Zabbix Server，或直接利用zabbix agent读取该文件获取数据，进而配合Zabbix生成图表及设置报警规则。相关代码如下：
#!/usr/bin/env python
#coding: utf-8
from __future__ import division
import os
LOG_FILE = '/data0/logs/nginx/xxxx-access_log'
POSITION_FILE = '/tmp/position.log'
STATUS_FILE = '/tmp/http_status'
#crontab 执行时间
CRON_TIME = 300
def get_position():
#第一次读取日志文件，POSITION_FILE为空
if not os.path.exists(POSITION_FILE):
start_position = str(0)
end_position = str(os.path.getsize(LOG_FILE))
fh = open(POSITION_FILE,'w')
fh.write('start_position: %s\n' % start_position)
fh.write('end_position: %s\n' % end_position)
fh.close()
os._exit(1)
else:
fh = open(POSITION_FILE)
se = fh.readlines()
fh.close()
#其他意外情况导致POSITION_FILE内容不是两行
if len(se) != 2:
os.remove(POSITION_FILE)
os._exit(1)
last_start_position,last_end_position = [item.split(':')[1].strip() for item in se]
start_position = last_end_position
end_position = str(os.path.getsize(LOG_FILE))
#日志轮转导致start_position > end_position
#print start_position,end_position
if start_position > end_position:
start_position = 0
#日志停止滚动时
elif start_position == end_position:
os._exit(1)
#print start_position,end_position
fh = open(POSITION_FILE,'w')
fh.write('start_position: %s\n' % start_position)
fh.write('end_position: %s\n' % end_position)
fh.close()
return map(int,[start_position,end_position])
def write_status(content):
fh = open(STATUS_FILE,'w')
fh.write(content)
fh.close()
def handle_log(start_position,end_position):
log = open(LOG_FILE)
log.seek(start_position,0)
status_2xx,status_403,status_404,status_500,status_502,status_503,status_504,status_all,rt,bandwidth = 0,0,0,0,0,0,0,0,0,0
while True:
current_position = log.tell()
if current_position >= end_position:
break
line = log.readline()
line = line.split(' ')
host,request_time,time_local,status,bytes_sent = line[1],line[3],line[5],line[10],line[11]
#print host,request_time,time_local,status,bytes_sent
status_all += 1
try:
rt += float(request_time.strip('s'))
bandwidth += int(bytes_sent)
except:
pass
if status == '200' or status == '206':
status_2xx += 1
elif status == '403':
status_403 += 1
elif status == '404':
status_404 += 1
elif status == '500':
status_500 += 1
elif status == '502':
status_502 += 1
elif status == '503':
status_503 += 1
elif status == '504':
status_504 += 1
log.close()
#print "status_2xx: %s\nstatus_403: %s\nstatus_404: %s\nstatus_500: %s\nstatus_502: %s\nstatus_503: %s\nstatus_504: %s\nstatus_all: %s\nrt: %s\nbandwidth: %s\n" % (status_2xx/CRON_TIME,status_403/CRON_TIME,status_404/CRON_TIME,status_500/CRON_TIME,status_502/CRON_TIME,status_503/CRON_TIME,status_504/CRON_TIME,status_all/CRON_TIME,rt/status_all,bandwidth/CRON_TIME)
write_status("status_2xx: %s\nstatus_403: %s\nstatus_404: %s\nstatus_500: %s\nstatus_502: %s\nstatus_503: %s\nstatus_504: %s\nstatus_all: %s\nrt: %s\nbandwidth: %s\n" % (status_2xx/CRON_TIME,status_403/CRON_TIME,status_404/CRON_TIME,status_500/CRON_TIME,status_502/CRON_TIME,status_503/CRON_TIME,status_504/CRON_TIME,status_all/CRON_TIME,rt/status_all,bandwidth/CRON_TIME))
if __name__ == '__main__':
start_position,end_position = get_position()
handle_log(start_position,end_position)
查看分析输出的结果示例：
cat /tmp/http_status status_2xx: 17.3333333333 status_403: 0.0 status_404: 1.0 status_500: 0.0 status_502: 0.0 status_503: 0.0 status_504: 0.0 status_all: 20.0 rt: 0.0782833333333 bandwidth: 204032.0
后续发现存在逻辑缺陷，start_position与end_position若直接进行字符串比较会出现错误，例如：
In [5]: '99772400' > '100227572'
Out[5]: True
In [6]: int('99772400') > int('100227572')
Out[6]: False
因此，对代码进行了修正，改为整数比较：
#日志轮转导致start_position > end_position #print start_position,end_position if int(start_position) > int(end_position): start_position = 0 #日志停止滚动时 elif int(start_position) == int(end_position): os._exit(1)
总结
以上就是本文的全部内容，希望这篇关于Python日志监控脚本的分享能对各位的学习或工作有所帮助。如有任何疑问，欢迎留言交流，感谢支持。
免责声明：本文内容仅供参考，不代表本站观点。转载或引用请注明出处。
