Python读取HDFS Parquet文件及小文件合并指南
本文介绍Python读取HDFS上Parquet格式数据的多种方案，包括hdfs3、hdfs和pyhdfs库的使用及HA配置。同时提供PySpark中利用coalesce函数合并小文件、优化存储效率的实用代码示例。
2026-10-14
6
本文介绍Python读取HDFS上Parquet格式数据的多种方案，包括hdfs3、hdfs和pyhdfs库的使用及HA配置。同时提供PySpark中利用coalesce函数合并小文件、优化存储效率的实用代码示例。
本文详细介绍如何在Python环境中连接HDFS，实现文件的读取与写入。通过安装pyhdfs模块，演示了从HDFS读取二进制数据流并转换为CSV，以及利用Pandas将文本文件处理为Dataframe并导出为CSV的具体代码。涵盖Python 3.6与Hadoop 2.9环境下的实际操作步骤，包括本地文件上传至HDFS的方法，为大数据处理提供基础支持。
本文详细介绍如何使用Python通过hdfs库访问HDFS。涵盖pip安装步骤、核心代码示例（如Client初始化、文件下载），并重点解决WebHDFS服务未开启导致的连接失败问题。通过修改hdfs-site.xml启用dfs.webhdfs.enabled属性，并提供curl检测命令，帮助用户快速排查和配置Hadoop环境。
本文介绍了如何使用Python的pymysql库连接MySQL数据库，并通过pandas库将查询结果转换为DataFrame对象。文章提供了完整的代码示例，展示了从建立连接、执行SQL查询到关闭连接的完整流程，以及如何遍历和访问DataFrame中的元素。
本文介绍如何使用Python3结合pyautocad库操作AutoCAD。内容涵盖从数据库提取BLOB数据，解析文本标识符（如LINE、PL）及坐标字符串，生成包含起点和终点坐标的列表，并通过AddLine、AddText等API在CAD中绘制图形。同时包含解决COMError常见错误的调试步骤及SaveAs保存方法。
本文详解Python中MySQL的IN参数化两种常见写法，指出字符串拼接的风险与.format()方法的便捷性。同时针对读取本地配置文件时常见的类型错误及连接失败问题，提供排查思路与解决方案，帮助开发者避免SQL注入并稳定连接数据库。
本文详解如何在pandas中实现类似SQL的WHERE IN查询。通过演示isin()方法处理列表筛选，对比直接使用时in导致的ValueError错误，并展示多条件组合筛选的正确括号用法，帮助开发者高效进行数据过滤操作。
本文介绍如何使用Python网络爬虫结合BeautifulSoup库，从绿色呼吸网实时采集天气与空气质量数据。教程涵盖目标网站分析、网页源码定位、关键代码实现及异常处理机制，重点解决部分城市无污染物数据显示时的空值问题。通过PyCharm运行程序，用户可输入城市拼音获取实时AQI、首要污染物及温馨提示，实现便捷的天气信息监控。
本文介绍如何在Python中将元组内的元素作为参数传入函数，特别是用于动态拼接并执行SQL语句。通过对比字符串拼接与元组解包两种方案，重点讲解使用 *params 将元组展开为独立参数传递给 str.format() 的方法，从而避免索引越界错误，实现高效、安全的数据库批量查询操作。
本文介绍在Python中如何高效筛选字典中Key或Value大于特定值的项。通过字典推导式{ k:v for k, v in test_dict.items() if ...}可快速过滤。同时补充使用filter和lambda表达式处理列表筛选的方法，帮助开发者掌握数据过滤的核心技巧。
本文介绍如何使用Python的itchat库结合图灵机器人API，仅需20行代码即可构建微信聊天机器人。通过注册获取API Key，编写接收与发送消息的逻辑，并实现扫码登录及状态持久化，帮助开发者快速实现微信群或好友的自动智能回复功能。
本文介绍在 Python3 中如何便捷地检查传入函数的字典参数是否包含所有必需键。通过封装 check_keys 函数，利用 all() 和生成器表达式实现高效校验，避免每次手工编写重复代码。同时补充了 Python 中元组和字典作为可变参数传递的四种常见用法，包括直接传递与解封传递的区别，帮助开发者更灵活地处理函数参数。