Python实现日志数据格式转换与合并

苏见山

发布时间：2026-10-13| 6人浏览过

原创

本文介绍利用Python脚本将非结构化日志数据转换为标准表格格式的方法。通过读取包含时间、类型及成功失败计数的多行文本，自动计算总和并输出为制表符分隔的CSV风格文件，适用于日志分析与数据预处理场景。

本文分享了一个使用Python进行典型数据格式转换的示例代码，供读者参考。

源数据采用特定的多行结构：首行为日期时间信息，第二行标识字段名称，随后跟随两行具体的数据记录。

1018 14:31:30.193 Type Succ Fail sour_sm 1308 1205 data_sm 2205 3301 1019 16:32:30.201 Type Succ Fail data_sm 3308 2206 data_sm 1765 1105 1020 18:00:00.203 Type Succ Fail sour_sm 7804 1105 data_sm 2976 1300

目标是将上述数据转换为统一的表格格式。

Time Type Succ Fail Total 1018 14:31:30.193 sour_sm 1308 1205 2513 1018 14:31:30.193 data_sm 2205 3301 5506 1019 16:32:30.201 data_sm 3308 2206 5514 1019 16:32:30.201 data_sm 1765 1105 2870 1020 18:00:00.203 sour_sm 7804 1105 8909 1020 18:00:00.203 data_sm 2976 1300 4276

利用Python代码可实现该转换过程，具体实现如下。

# coding = utf-8
fd = open(r"output.txt", "w", encoding="utf-8")
fd.write("%s\t\t\t\t%s\t%s\t%s\t%s\n" % ("Time", "Type", "Succ", "Fail", "Total"))
 
with open(r"data.txt", "r", encoding="utf-8") as fd1:
 lines = fd1.readlines()
 time1 = lines[0::4]
 data1 = lines[2::4]
 data2 = lines[3::4]
 for (i, line) in enumerate(time1):
 Time = line.strip()
 Type_1 = data1[i].strip().split()[0]
 Succ_1 = data1[i].strip().split()[1]
 Fail_1 = data1[i].strip().split()[2]
 Total_1 = str(int(Succ_1) + int(Fail_1))
 Type_2 = data2[i].strip().split()[0]
 Succ_2 = data2[i].strip().split()[1]
 Fail_2 = data2[i].strip().split()[2]
 Total_2 = str(int(Succ_2) + int(Fail_2))
 fd.write("%s\t%s\t%s\t%s\t%s\n" % (Time, Type_1, Succ_1, Fail_1, Total_1))
 fd.write("%s\t%s\t%s\t%s\t%s\n" % (Time, Type_2, Succ_2, Fail_2, Total_2))
fd.close()

生成的文件格式符合预期，基本满足数据处理需求。