Python实现文件一致性校验与文本交集筛选

小鹿同学

发布时间：2026-10-13| 6人浏览过

原创

本文介绍利用Python进行文件比对与文本筛选的两种实用方法。首先通过计算文件的MD5哈希值来高效判断两个文件内容是否完全一致，该方法适用于各类二进制或文本文件。其次，演示如何读取两个文本文件并提取其中的公共项，利用集合操作实现高效的去重与筛选，适用于日志分析或数据清洗场景。

在Python开发中，经常需要验证两个文件的内容是否完全一致。

import hashlib
def getHash(f):
  line=f.readline()
  hash=hashlib.md5()
  while(line):
    hash.update(line)
    line=f.readline()
  return hash.hexdigest()
def IsHashEqual(f1,f2):
  str1=getHash(f1)
  str2=getHash(f2)
  return str1==str2
if __name__ == '__main__':
  f1=open("D:/2.iso","rb")
  f2=open("E:/wenjian/1.iso","rb")
  print IsHashEqual(f1,f2)

一种通用的方法是分别计算这两个文件的MD5哈希值，然后比较哈希结果是否相等。需要注意的是，当处理体积较大的文件时，计算MD5值的过程可能会消耗较多时间。

除了文件比对，有时还需要对两个文本文件中的内容进行交集筛选，找出它们共同包含的条目。

import os
import os.path as osp
def filter(path):
  file_path = osp.join(path, 'index.txt')
  if osp.exists(file_path):
    return file_path
  index_file = open(file_path, 'a+')
  if not os.path.isdir(path):  #判断path是否为路径 
    return  
  for root, dirs, list in os.walk(path):
    for i in list: 
      dir = os.path.join(root, i)  #将分离的部分组成一个路径名 
      #if os.path.getsize(dir) < 60000:  #获取文件大小 
        #os.remove(dir)       #删除文件 
      print (i)
      index_file.write(i+'\n')
  index_file.close()    
def compare(path):
  file=osp.join(path, 'label.txt')
  file_path = osp.join(path, 'index.txt')
  with open(file_path, 'r') as file1:
     with open(file, 'r') as file2:
       same = set(file1).intersection(file2)
  same.discard('\n')
  with open('some_output_file.txt', 'w') as file_out:
     for line in same:
       file_out.write(line)
  file_out.close()
filter(r'D:\Desktop\jiaoben\ci')
compare(r'D:\Desktop\jiaoben\ci')

本文介绍了上述两种基于Python的文件与文本处理技巧。

以上内容涵盖了文件一致性校验及文本项筛选的核心实现逻辑，希望能为相关技术学习或实际工作提供有价值的参考。感谢支持，如需了解更多技术细节，请参阅相关链接。