Python 读取空格分隔数据文件的方法与示例
本文介绍如何使用 Python 读取以空格为分隔符的数据文件,如 Boston 房价预测数据集。通过 pandas 的 read_csv 函数设置 delim_whitespace 参数实现解析,并探讨 header 和 names 参数的用法。此外,提供一个自定义 DealData 类,封装文件加载、折半查找及保存功能,供参考。
在查找数据集时可能会发现,并非所有数据都以 CSV 格式存储,即各列特征数据的分隔符不一定是逗号,部分数据格式采用空格作为分隔符。
例如 .data 格式的文件。
接下来介绍如何读取此类 .data 格式的数据。
(数据来源于 Boston 房价预测数据集,文件名为“housing.data”)
import pandas as pd
data = pd.read_csv('./housing.data', delim_whiteshape=True)
上述代码实现了以空格为分隔符的解析,但该方法是否适用于同样以空格分隔且单列存储的 CSV 文件,尚不明确。
另外,pd.read_csv() 中的参数 sep 和 delimiter 含义相同,具体使用场景尚不清晰,目前使用频率不高。
遇到文件读取问题时,建议查阅官方文档或通过 Google 搜索解决方案。
pd.read_csv 官方文档
此外,如果 data 中的数据已经以逗号分隔好,可以直接在原数据集文件后缀名后添加 .csv 将其转换为 CSV 文件。
pd.read_csv() 在读取文件时,默认将第一行作为列名。但如果第一行也是需要保留的数据,则需指定参数 header=None,或提前为每列设置好名称,例如 names=['column0', 'column1', ...]。
补充:Python 实现以空格分隔的文件读写及二维数组按列折半查找
近期文件读写工作较多,每次读取文件都需编写单独函数以适应格式,因此编写了一个类来统一处理文件操作。
(使用 pandas.read_csv 读取文件更为便捷)
import os
class DealData:
# 数据加载函数
def load(self, filename):
data = []
file = open(filename, 'r')
for line in file.readlines():
line = line.strip('\n') # 除去换行
line = line.split(' ') # 文件以“ ”分隔
if "" in line: # 解决每行结尾有空格的问题
line.remove("")
data.append(line)
file.close()
return data
# 折半查找 # array是一个二维数组,函数实现的功能是按照array的第lie列折半查找
def search(self, array, lie, target):
low = 0
high = len(array) - 1
while array[low][lie] <= array[high][lie]:
mid = int((low + high) / 2)
midval = array[mid][lie]
if midval < target:
low = mid + 1
elif midval > target:
high = mid - 1
if high < 0 or low >= len(array):
break
return high
# 将数据保存到文件
def save(self, data, filename):
file = open(filename, 'w')
for i in range(0, len(data), 1):
for k in range(0, len(data[i]), 1):
file.write(str(data[i][k]))
file.write(" ")
file.write("\n")
file.close()
可以将 Dealdata 类单独创建一个 Python 文件,命名为 Dealdata,调用方法如下:
from DealData import DealData
deal = DealData()
totaldata = deal.load("E:\low_data.txt")
调用前需先引用类:from Dealdata import Dealdata,其中第一个 Dealdata 为被调用的 Python 文件名,第二个 Dealdata 为被调用的类名。
以上为个人经验,希望能给大家一个参考,也希望大家多多支持本站。如有错误或未考虑完全的地方,望不吝赐教。
免责声明:本文内容仅供参考,不代表本站观点。转载或引用请注明出处。









