Python Pandas DataFrame 行列操作与未命名列处理详解
本文详细讲解 Python Pandas 库中 DataFrame 的行与列选取方法,涵盖 loc、iloc、ix 等常用索引方式。针对读取 CSV 时产生的未命名列问题,提供重命名删除与直接切片剔除两种解决方案,帮助开发者高效处理数据清洗中的边缘情况。
在使用 Pandas 库的 DataFrame 时,经常需要对数据的行或列进行选取操作。
import numpy as np
import pandas as pd
from pandas import Sereis, DataFrame
ser = Series(np.arange(3.))
data = DataFrame(np.arange(16).reshape(4,4),index=list('abcd'),columns=list('wxyz'))
data['w'] #选择表格中的'w'列,使用类字典属性,返回的是Series类型
data.w #选择表格中的'w'列,使用点属性,返回的是Series类型
data[['w']] #选择表格中的'w'列,返回的是DataFrame类型
data[['w','z']] #选择表格中的'w'、'z'列
data[0:2] #返回第1行到第2行的所有行,前闭后开,包括前不包括后
data[1:2] #返回第2行,从0计,返回的是单行,通过有前后值的索引形式,
#如果采用data[1]则报错
data.ix[1:2] #返回第2行的第三种方法,返回的是DataFrame,跟data[1:2]同
data['a':'b'] #利用index值进行切片,返回的是**前闭后闭**的DataFrame,
#即末端是包含的
data.irow(0) #取data的第一行
data.icol(0) #取data的第一列
data.head() #返回data的前几行数据,默认为前五行,需要前十行则data.head(10)
data.tail() #返回data的后几行数据,默认为后五行,需要后十行则data.tail(10)
ser.iget_value(0) #选取ser序列中的第一个
ser.iget_value(-1) #选取ser序列中的最后一个,这种轴索引包含索引器的series不能采用ser[-1]去获取最后一个,这会引起歧义。
data.iloc[-1] #选取DataFrame最后一行,返回的是Series
data.iloc[-1:] #选取DataFrame最后一行,返回的是DataFrame
data.loc['a',['w','x']] #返回‘a'行'w'、'x'列,这种用于选取行索引列索引已知
data.iat[1,1] #选取第二行第二列,用于已知行、列位置的选取。
以下通过具体代码示例进行验证说明:
import pandas as pd from pandas import Series, DataFrame import numpy as np data = DataFrame(np.arange(15).reshape(3,5),index=['one','two','three'],columns=['a','b','c','d','e']) data Out[7]: a b c d e one 0 1 2 3 4 two 5 6 7 8 9 three 10 11 12 13 14 #对列的操作方法有如下几种 data.icol(0) #选取第一列 E:\Anaconda2\lib\site-packages\spyder\utils\ipython\start_kernel.py:1: FutureWarning: icol(i) is deprecated. Please use .iloc[:,i] # -*- coding: utf-8 -*- Out[35]: one 0 two 5 three 10 Name: a, dtype: int32 data['a'] Out[8]: one 0 two 5 three 10 Name: a, dtype: int32 data.a Out[9]: one 0 two 5 three 10 Name: a, dtype: int32 data[['a']] Out[10]: a one 0 two 5 three 10 data.ix[:,[0,1,2]] #不知道列名只知道列的位置时 Out[13]: a b c one 0 1 2 two 5 6 7 three 10 11 12 data.ix[1,[0]] #选择第2行第1列的值 Out[14]: a 5 Name: two, dtype: int32 data.ix[[1,2],[0]] #选择第2,3行第1列的值 Out[15]: a two 5 three 10 data.ix[1:3,[0,2]] #选择第2-4行第1、3列的值 Out[17]: a c two 5 7 three 10 12 data.ix[1:2,2:4] #选择第2-3行,3-5(不包括5)列的值 Out[29]: c d two 7 8 data.ix[data.a>5,3] Out[30]: three 13 Name: d, dtype: int32 data.ix[data.b>6,3:4] #选择'b'列中大于6所在的行中的第4列,有点拗口 Out[31]: d three 13 data.ix[data.a>5,2:4] #选择'a'列中大于5所在的行中的第3-5(不包括5)列 Out[32]: c d three 12 13 data.ix[data.a>5,[2,2,2]] #选择'a'列中大于5所在的行中的第2列并重复3次 Out[33]: c c c three 12 12 12 #还可以行数或列数跟行名列名混着用 data.ix[1:3,['a','e']] Out[24]: a e two 5 9 three 10 14 data.ix['one':'two',[2,1]] Out[25]: c b one 2 1 two 7 6 data.ix[['one','three'],[2,2]] Out[26]: c c one 2 2 three 12 12 data.ix['one':'three',['a','c']] Out[27]: a c one 0 2 two 5 7 three 10 12 data.ix[['one','one'],['a','e','d','d','d']] Out[28]: a e d d d one 0 4 3 3 3 one 0 4 3 3 3 #对行的操作有如下几种: data[1:2] #(不知道列索引时)选择第2行,不能用data[1],可以用data.ix[1] Out[18]: a b c d e two 5 6 7 8 9 data.irow(1) #选取第二行 Out[36]: a 5 b 6 c 7 d 8 e 9 Name: two, dtype: int32 data.ix[1] #选择第2行 Out[20]: a 5 b 6 c 7 d 8 e 9 Name: two, dtype: int32 data['one':'two'] #当用已知的行索引时为前闭后闭区间,这点与切片稍有不同。 Out[22]: a b c d e one 0 1 2 3 4 two 5 6 7 8 9 data.ix[1:3] #选择第2到4行,不包括第4行,即前闭后开区间。 Out[23]: a b c d e two 5 6 7 8 9 three 10 11 12 13 14 data.ix[-1:] #取DataFrame中最后一行,返回的是DataFrame类型,**注意**这种取法是有使用条件的,只有当行索引不是数字索引时才可以使用,否则可以选用`data[-1:]`--返回DataFrame类型或`data.irow(-1)`--返回Series类型 Out[11]: a b c d e three 10 11 12 13 14 data[-1:] #跟上面一样,取DataFrame中最后一行,返回的是DataFrame类型 Out[12]: a b c d e three 10 11 12 13 14 data.ix[-1] #取DataFrame中最后一行,返回的是Series类型,这个一样,行索引不能是数字时才可以使用 Out[13]: a 10 b 11 c 12 d 13 e 14 Name: three, dtype: int32 data.tail(1) #返回DataFrame中的最后一行 data.head(1) #返回DataFrame中的第一行
在处理数据过程中,使用 pd.read_csv() 读取文件时,有时会出现读取到未命名的列。这些列通常没有实际用途,往往是因为索引列被替换后产生的。对于有代码洁癖的开发者来说,这些多余的列令人困扰。此时直接使用 dataframe.drop([columns,]) 可能无法直接解决问题,该如何处理呢?
一种较为笨拙但有效的方法是直接对列索引进行重命名:
data6
Unnamed: 0 high symbol time
date
2016-11-01 0 3317.4 IF1611 18:10:44.8
2016-11-01 1 3317.4 IF1611 06:01:04.5
2016-11-01 2 3317.4 IF1611 07:46:25.5
2016-11-01 3 3318.4 IF1611 09:30:04.0
2016-11-01 4 3321.8 IF1611 09:31:04.0
data6.columns = list('abcd')
data6
a b c d
date
2016-11-01 0 3317.4 IF1611 18:10:44.8
2016-11-01 1 3317.4 IF1611 06:01:04.5
2016-11-01 2 3317.4 IF1611 07:46:25.5
2016-11-01 3 3318.4 IF1611 09:30:04.0
2016-11-01 4 3321.8 IF1611 09:31:04.0
完成重命名后,即可使用 dataframe.drop([columns]) 来删除该列。当然,无需将所有列名都替换掉,只需更改那个未命名的列名,随后执行删除操作即可。不过,这种全量重命名的方式显得不够优雅,是否有更好的方法呢?答案是肯定的,我们可以选择不删除数据,而是直接进行切片操作:
data7 = data6.ix[:,1:]
这种方法既保留了原始数据,又成功去除了令人困扰的列。例如这里删除的是第 0 列,实际使用时可根据具体列的位置进行选择。其原理可参考前文关于列操作的讲解。
以上关于 Python Pandas 库中 DataFrame 行与列操作的实例讲解到此结束,希望能为大家提供参考,也欢迎大家继续支持本站。
免责声明:本文内容仅供参考,不代表本站观点。转载或引用请注明出处。









