Python实现多个NPY文件合并与CSV批量处理指南

Noah

发布时间：2026-10-14| 5人浏览过

原创

本文介绍如何使用Python合并多个NPY文件，通过遍历目录加载数组并使用numpy.append进行拼接保存。同时提供批量合并CSV文件的方案，利用Pandas读取文件并处理编码问题，将多个月度数据整合为单一文件，适用于数据预处理场景。

Python合并NPY文件实现

以下是具体的代码实现部分。

NPY文件合并代码逻辑


 
old_record=numpy.load('exist.npy')
temp_record=[]
 
path = os.getcwd()+"\\database\\new"  #获取当前路径
for root,dirs,files in os.walk(path):  #遍历统计
	for each in files: 
		url=path+"\\"+each
		...
		temp_record.append(temp)
 
numpy.save('temp.npy',temp_record) 
temp=numpy.load('temp.npy')
 
new_record=numpy.append(old_record,temp)
numpy.save('exist.npy',new_record)

Python批量处理文件合并

补充知识：Python批量处理文件将多个文件合并

需求场景：需将一个文件夹下的多个CSV文件合并为单个文件。这些文件格式一致，仅按月份区分，现需将其合并处理。

CSV文件批量合并代码示例


import pandas as pd 
import os 
Folder_Path = 'C:\\Users\\dell\\雾霾预测\\data\\河北省'     #要拼接的文件夹及其完整路径，注意不要包含中文 
SaveFile_Path = 'C:\\Users\\dell\\雾霾预测\\data'    #拼接后要保存的文件路径 
SaveFile_Name = '河北省201701-201712.csv'       #合并后要保存的文件名 

#修改当前工作目录 
os.chdir(Folder_Path) 
#将该文件夹下的所有文件名存入一个列表 
file_list = os.listdir() 

#读取第一个CSV文件并包含表头 
df = pd.read_csv(Folder_Path +'\\'+ file_list[0]) #编码默认UTF-8，若乱码自行更改

#将读取的第一个CSV文件写入合并后的文件保存 
df.to_csv(SaveFile_Path+'\\'+ SaveFile_Name,encoding="utf_8_sig",index=False) 

#循环遍历列表中各个CSV文件名，并追加到合并后的文件 
FileStart = 1
FileEnd = len(file_list)
for i in range(FileStart,FileEnd): 
  df = pd.read_csv(Folder_Path + '\\'+ file_list[i]) 
  df.to_csv(SaveFile_Path+'\\'+ SaveFile_Name,encoding="utf_8_sig",index=False, header=False, mode='a+')

在读取文件时若遇到中文乱码，通常是因为编码格式为GBK，此时需在读取时指定编码格式。