Python批量处理CSV文件并保存过程解析

Luna

发布时间：2026-10-13| 4人浏览过

原创

本文介绍使用Python批量处理大量以数字命名的CSV文件的方法。通过遍历指定目录，利用正则表达式筛选有效文件，逐个读取并对指定列进行格式修改，最后将处理后的数据写入新的CSV文件。该方法适用于需要批量修改数据格式的场景，提高了数据处理效率。

需求分析

场景包含大量以数字命名的CSV文件，例如1.csv、2.csv等。

需要逐个打开这些文件，对其中某一列的数据进行格式修改。

将修改后的内容保存至新的CSV文件中。

解决思路

首先读取待处理的CSV文件名列表，过滤掉文件夹中的无用文件，获取待处理文件的地址及新文件的保存地址。接着，依次读取每个CSV文件进行处理，并将结果写入新文件。


if __name__ == '__main__':
  filenames_in = '../Train_data/' # 输入文件的文件地址
  filenames_out = '../Train_data1/' # 新文件的地址
  pathDir = os.listdir(filenames_in)
  for allDir in pathDir:
    child = re.findall(r"(.+?).csv", allDir) # 正则的方式读取文件名，去扩展名
    if len(child) > 0: # 去掉没用的系统文件
      newfile=''
      needdate = child #### 这个就是所要的文件名
    domain1 = os.path.abspath(filenames_in) # 待处理文件位置
    info = os.path.join(domain1, allDir) # 拼接出待处理文件名字
    domain2 = os.path.abspath(filenames_out) # 处理完文件保存地址
    outfo = os.path.join(domain2, allDir) # 拼接出新文件名字
    print(info, "开始处理")
# ------省略数据处理过程----------------------
    df.to_csv(outfo, encoding='utf-8') # 将数据写入新的csv文件
    print(info,"处理完")

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持本站。