Python读写数据文件的6种常用方式详解
本文系统梳理Python中读写Excel及各类数据文件的6种常用方式。涵盖内置IO方法、csv模块、NumPy库、Pandas库、专用Excel库（如openpyxl）及数据库交互模块。详细解析各库的核心函数、适用场景及代码示例，帮助开发者根据数据格式与规模选择最优方案。
2026-10-14
8
本文系统梳理Python中读写Excel及各类数据文件的6种常用方式。涵盖内置IO方法、csv模块、NumPy库、Pandas库、专用Excel库（如openpyxl）及数据库交互模块。详细解析各库的核心函数、适用场景及代码示例，帮助开发者根据数据格式与规模选择最优方案。
本文针对500万行级别的大规模数据，系统对比了Pandas中iloc、at、apply及Series直接处理的速度差异。实测显示，iloc耗时约5小时，at优化至10分钟，而转为Series处理仅需37秒。此外，文章通过数值实验深入剖析了loc、at、iloc、iat及直接访问values数组在读取与修改场景下的性能表现，指出直接获取二维数组再定位是最高效方案，并提供了相应的代码实现与优化建议。
本文详解Pandas中提取单个单元格值的两种方法。使用iloc返回DataFrame对象，而values属性返回嵌套列表。通过示例展示如何结合索引与values[0][0]获取纯数值，并解决将Series写入Excel时的类型报错问题，提供实用的代码参考。
本文介绍如何使用Python的Pandas库对CSV文件进行行列删除操作。通过read_csv读取数据，利用drop函数指定axis参数删除指定列或行，并设置inplace参数控制是否修改原数据。最后通过to_csv保存结果，支持指定编码和索引显示。
本文详细介绍如何结合Tushare、PyCharm和Excel进行股票数据分析。通过PyCharm安装numpy、tushare和matplotlib库，使用Tushare接口获取指定股票的历史交易数据，并导出至Excel。为解决PyCharm写入Excel时覆盖其他Sheet的问题，文章提出建立双文件同步策略，利用Excel公式实现数据自动关联，最终支持K线、MACD等技术指标分析。
本文介绍在 pandas 中颠倒 DataFrame 列顺序的两种常用方法。第一种适用于列数较少的情况，通过手动指定列名列表实现；第二种利用 pandas 内置切片功能，适合处理列数较多的数据，操作更为简便高效。
本文详解使用pandas读取txt、csv、excel及pkl文件的具体命令。重点解析read_csv与read_table在处理非标准分隔符txt文件时的差异，通过sep参数解决列解析错误。同时提供线上部署模型时读取excel和pkl文件的完整Python代码示例，涵盖路径适配与测试流程。
本文介绍使用Python的pandas、xlrd和openpyxl库合并Excel文件中指定Sheet的方法。重点解决合并后出现的列顺序错乱及自动生成Unnamed:0列的问题，通过设置header=None、index_col=0和index=False等参数实现数据正确合并与保存。
本文介绍如何利用pandas实现分组后提取第N行数据，并通过示例将question_id对应的user_answer转换为ABCD选项。同时详细解析nlargest()函数的用法，包括获取最大前几行、处理重复值及分组求和等场景，帮助读者掌握高效的数据筛选技巧。
本文介绍在pandas中如何利用groupby对数据进行分组，并将其他列的值合并为列表或字典。通过apply结合list或lambda表达式，可实现单列或多列的聚合处理。同时补充字符串字段的拼接方法及常见字符串处理函数，帮助高效完成数据清洗与转换任务。
本文介绍如何使用Python pandas库进行分组排序并获取组内第二大或最大的数据。通过groupby结合apply函数，可自定义逻辑提取特定排名数值；对于按列排序后取最大行的需求，可利用sort_values配合groupby的first或head方法实现高效数据筛选。
本文详细解析Pandas中groupby后的agg、apply和transform三个方法的核心区别。agg针对单列返回标量，apply接收整个DataFrame并支持复杂逻辑，transform则保持原索引进行广播。通过具体代码实例说明如何在不同场景下选择合适的方法，并解决groupby索引冗余等常见问题。
