Python DataFrame笛卡尔积优化：从双重循环到Merge的高效实现

小林子

发布时间：2026-10-13| 6人浏览过

原创

本文介绍如何在Python中高效计算两个Dataframe的笛卡尔积。通过对比双重循环法与基于Merge的优化法，展示了利用Pandas内置功能将时间复杂度从O(m*n)降低至O(n)的技巧，并提供了具体的代码实现与性能测试数据，帮助开发者解决大数据量下的合并性能瓶颈。

Dataframe笛卡尔积合并原理

当需要合并两个没有共同列的Dataframe时，实际上是在按行号计算它们的笛卡尔积。

最终生成的结果数据如下所示。

基础双重循环实现

以下代码参考了现有方案并进行了修改：


def cartesian_df(A,B):
    new_df = pd.DataFrame(columns=list(A).extend(list(B)))
    for _,A_row in A.iterrows():
      for _,B_row in B.iterrows():
        row = A_row.append(B_row)
        new_df = new_df.append(row,ignore_index=True)
    return new_df
#这个方法，如果两张表列名重复会出错

该方法的逻辑是对两个表的每一行进行嵌套循环，运行速度较慢，其时间复杂度约为O(m*n)，其中m和n分别代表A表和B表的行数。

由于实际应用中涉及的合并表行数较多，原方法耗时过长，因此对上述代码进行了优化。

基于Merge的性能优化方案

优化思路是利用Dataframe的merge功能：先循环复制A表，将循环次数作为列添加，然后直接使用merge进行合并。此方法的时间复杂度理论上可降至O(n)（n为B表的行数），具体代码如下：


def cartesian_df(df_a,df_b):
  '求两个dataframe的笛卡尔积'
  #df_a 复制n次，索引用复制次数
  new_df_a = pd.DataFrame(columns=list(df_a))
  for i in range(0,df_b.shape[0]):
    df_a['merge_index'] = i
    new_df_a = new_df_a.append(df_a,ignore_index=True)
  #df_b 设置索引为行数
  df_b.reset_index(inplace = True, drop =True)
  df_b['merge_index'] = df_b.index
  #merge
  new_df = pd.merge(new_df_a,df_b,on=['merge_index'],how='left').drop(['merge_index'],axis = 1)
  return new_df

#两个原始表中不能有列名'merge_index'