Python解析大JSON文件时处理异常并继续执行

拾光

发布时间：2026-10-13| 3人浏览过

原创

本文介绍在Python中监控大文件生成并解析JSON时，如何避免因文件未写完导致的解析异常。通过捕获异常、等待并重试加载，确保脚本在文件生成过程中不退出，实现持续监控与结果获取。

Python解析大JSON文件异常处理方案

编写了一个用于等待分析结果并解析JSON格式结果的脚本。

由于生成的文件体积较大，有时在监测到新文件时立即解析，可能文件尚未完全生成，从而导致异常并退出当前线程，致使本次分析结果丢失。当JSON文件加载失败时，通常涉及上百兆至几吉字节的大文件。为此，设置等待10秒后再次尝试加载；若仍失败，则重新执行加载操作。这种处理方式虽然显得繁琐，但由于监控线程仅能监控文件的创建、修改和删除事件，无法判断创建中的文件是否已写入完毕。


def run_analyze():
    sleep(2)
    berror = True
    temp = {}
    while berror == True:
      with open(self.filepath, 'r') as f:
      global filename,filescore,filesize,filebehavior,filestrings
        try:
          temp = json.loads(f.read())
          berror = False
        except:#KeyError, VauleError
          print "analyze report is creating,please wait a moment..."
          f.close()
          sleep(5)
          berror = True
          pass
    filescore = float(temp['info']['score'])
    print ("filescore:%d" %filescore)