Python Pandas 将列表列拆分为多行的多种实现方案

问题背景

在数据处理中，经常遇到某一列存储的是列表（List）或数组数据的情况。为了进行后续分析，通常需要将这些列表中的每个元素拆分成单独的行。例如，将包含列表的 DataFrame 转换为扁平化的表格结构。

df=pd.DataFrame({'A':[1,2],'B':[[1,2],[1,2]]})
df
Out[458]: 
  A    B
0 1 [1, 2]
1 2 [1, 2]

方法一：使用 apply 和 pd.Series（不推荐）

利用 apply 配合 pd.Series 可以将列表展开为多列，再通过 stack 将列堆叠回行。虽然代码直观，但性能较差，不推荐在大数据量场景下使用。

df.set_index('A').B.apply(pd.Series).stack().reset_index(level=0).rename(columns={0:'B'})
Out[463]: 
  A B
0 1 1
1 1 2
0 2 1
1 2 2

方法二：使用 repeat 和 DataFrame 构造函数

通过 repeat 方法重复索引，并结合 np.concatenate 展开列表值，直接构建新的 DataFrame。该方法性能较好，但处理多列时逻辑较为繁琐。

df=pd.DataFrame({'A':df.A.repeat(df.B.str.len()),'B':np.concatenate(df.B.values)})
df
Out[465]: 
  A B
0 1 1
0 1 2
1 2 1
1 2 2

方法三：创建新列表实现拆分

使用列表推导式遍历原始数据，将每个列表元素与对应的其他列值组合成新行。这种方法简洁直观，适用于中等规模数据。

pd.DataFrame([[x] + [z] for x, y in df.values for z in y],columns=df.columns)
Out[488]: 
  A B
0 1 1
1 1 2
2 2 1
3 2 2

方法四：使用 reindex 和 loc 实现拆分

利用 reindex 或 loc 根据重复的索引扩展 DataFrame，再使用 assign 更新展开后的列表列。这是 Pandas 中较为常用且性能稳定的方法。

df.reindex(df.index.repeat(df.B.str.len())).assign(B=np.concatenate(df.B.values))
Out[554]: 
  A B
0 1 1
0 1 2
1 2 1
1 2 2

方法五：使用 numpy 高性能实现

对于高性能需求，可以使用 numpy 的 dstack 和 repeat 组合操作。通过底层数组操作，避免 Pandas 对象开销，适合处理大规模数据。

newvalues=np.dstack((np.repeat(df.A.values,list(map(len,df.B.values))),np.concatenate(df.B.values)))
pd.DataFrame(data=newvalues[0],columns=df.columns)
  A B
0 1 1
1 1 2
2 2 1
3 2 2

多列拆分注意事项

当需要拆分的列多于两列时，上述方法需适当调整。例如，使用列表推导式结合 zip 遍历索引和列表值，再通过 merge 合并原始数据。

#拆成多于两列的情况
s=pd.DataFrame([[x] + [z] for x, y in zip(df.index,df.B) for z in y])
s.merge(df,left_on=0,right_index=True)
Out[491]: 
  0 1 A    B
0 0 1 1 [1, 2]
1 0 2 1 [1, 2]
2 1 1 2 [1, 2]
3 1 2 2 [1, 2]

以上就是Python Pandas list列表数据列拆分成多行的方法实现的详细内容，更多关于Python Pandas数据处理技巧的资料请关注本站其它相关文章！