Python连接HDFS并返回Dataframe完整教程

周予安

发布时间：2026-10-14| 5人浏览过

原创

本文详细介绍如何在Python环境中连接HDFS，实现文件的读取与写入。通过安装pyhdfs模块，演示了从HDFS读取二进制数据流并转换为CSV，以及利用Pandas将文本文件处理为Dataframe并导出为CSV的具体代码。涵盖Python 3.6与Hadoop 2.9环境下的实际操作步骤，包括本地文件上传至HDFS的方法，为大数据处理提供基础支持。

Python连接HDFS并返回Dataframe完整教程

本文直接提供核心代码实现，省略冗长背景介绍。


from hdfs import Client
import pandas as pd
 
HDFSHOST = "http://xxx:50070"
FILENAME = "/tmp/preprocess/part-00000" #hdfs文件路径
COLUMNNAMES = [xx']
 
def readHDFS():
'''
读取hdfs文件
 
Returns：
df:dataframe hdfs数据
'''
client = Client(HDFSHOST)
# 目前读取hdfs文件采用方式：
# 1. 先从hdfs读取二进制数据流文件
# 2. 将二进制文件另存为.csv
# 3. 使用pandas读取csv文件
with client.read(FILENAME) as fs:
content = fs.read()
s = str(content, 'utf-8')
file = open("data/tmp/data.csv", "w")
file.write(s)
df = pd.read_csv("data/tmp/data.csv", names=COLUMNNAMES)
return df

补充知识：Python连接HDFS实现文件上传下载及Pandas转换文本文件到CSV

目标与环境配置

1. 目标

数据清洗工作通常由Hadoop Hive或Spark等计算框架完成，处理后的数据存储于HDFS中。

爬虫抓取与机器学习模型训练在Python生态中易于实现。

在Linux环境下进行Python开发时，往往缺乏PyCharm等IDE提供的便捷交互体验。

因此，需要建立Python程序与HDFS系统之间稳定的读写通道。

HDFS读写实现

2. 实现

首先需要安装Python模块pyhdfs以支持HDFS交互。

测试环境版本为Python 3.6，Hadoop版本为2.9。

读取HDFS文件的代码如下：


from pyhdfs import HdfsClient
client=HdfsClient(hosts='ghym:50070')#hdfs地址
res=client.open('/sy.txt')#hdfs文件路径,根目录/
for r in res:
  line=str(r,encoding='utf8')#open后是二进制,str()转换为字符串并转码
  print(line)

写入HDFS文件的代码如下：


from pyhdfs import HdfsClient
client=HdfsClient(hosts='ghym:50070',user_name='hadoop')#只有hadoop用户拥有写权限
str='hello world'
client.create('/py.txt',str)#创建新文件并写入字符串

将本地文件上传至HDFS目录的方法如下：


from pyhdfs import HdfsClient
client = HdfsClient(hosts='ghym:50070', user_name='hadoop')
client.copy_from_local('d:/pydemo.txt', '/pydemo')#本地文件绝对路径,HDFS目录必须不存在

文本文件转CSV处理

3. 读取文本文件写入CSV

确保Python环境中已安装pandas模块。

在转换前，需确认源文本文件的具体分隔符格式。


# pyhdfs读取文本文件,分隔符为逗号,
from pyhdfs import HdfsClient
client = HdfsClient(hosts='ghym:50070', user_name='hadoop')
inputfile=client.open('/int.txt')
# pandas调用读取方法read_table
import pandas as pd
df=pd.read_table(inputfile,encoding='gbk',sep=',')#参数为源文件,编码,分隔符
# 数据集to_csv方法转换为csv
df.to_csv('demo.csv',encoding='gbk',index=None)#参数为目标文件,编码,是否要索引

以上这篇python读取hdfs并返回dataframe教程就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持本站。