Python多进程写入同一文件：解决GIL限制与数据竞争

近期使用Python正则表达式处理大量文本数据时，需将结果写入文件。由于数据量庞大，处理耗时较长。通过任务管理器观察发现CPU占用率仅为25%，原因在于Python全局解释器锁（GIL）的存在，使得同一时刻仅能执行一个线程，导致仅利用单个CPU核心。鉴于本机为4核处理器，故CPU利用率显示为25%。

鉴于多线程无法突破GIL限制，可转而采用多进程方案，因多进程不受GIL约束。Python内置的multiprocessing库提供了多进程支持，但多进程写入同一文件时易引发资源争用，导致文件内容顺序混乱。若采用加锁机制，虽能解决冲突，但会降低执行速度，且难以对所有输出代码块加锁，否则与单进程无异。一种优化策略是将文件输出集中处理并在此处加锁。此外，还有一种更优雅的方案：利用multiprocessing库的回调函数功能。

该方案的核心思路是将进程需写入文件的内容作为返回值，交由回调函数统一处理。此方法在Windows环境下具有显著优势：Linux下的multiprocessing基于fork函数，父进程会将文件句柄等资源传递给子进程；而Windows无fork函数，若在父进程打开文件后由子进程写入，会触发ValueError: I/O operation on closed file错误。因此，在Windows环境下务必添加if __name__ == '__main__'判断，以规避RuntimeError或死锁风险。

具体实现代码如下：

from multiprocessing import Pool
import time


def mycallback(x):
  with open('123.txt', 'a+') as f:
    f.writelines(str(x))


def sayHi(num):
  return num


if __name__ == '__main__':
  e1 = time.time()
  pool = Pool()

  for i in range(10):
    pool.apply_async(sayHi, (i,), callback=mycallback)

  pool.close()
  pool.join()
  e2 = time.time()
  print float(e2 - e1)

运行结果如下：

以上关于Python多进程写入同一文件的方法分享完毕，供读者参考，欢迎支持。