pymysql tuple转pandas及execute与executemany性能对比

pymysql tuple 转 pandas DataFrame

直接查看代码示例即可。

#执行结果转化为dataframe
df = pd.DataFrame(list(result))

execute 与 executemany 差异及性能对比

补充知识：Python中使用pymysql的注意事项

cursor.execute 与 cursor.executemany 存在多处差异。

第一，execute 执行时若字段值为字符串必须手动添加引号，而 executemany 仅需使用占位符 %s，pymysql 会自动根据提供的参数列表添加引号。

第二，execute 返回的结果通常为数字（受影响的行数），而 executemany 的返回值可能是 None 或数字。

第三，在 executemany 执行后调用 fetchall，通常只能获取最后一条语句的执行结果（例如执行 select 时）。

第四，在进行 insert 操作且数据量较大时，建议拼接 SQL 语句后使用 execute 执行；若使用 executemany(sql, datalist)，执行速度会明显变慢。

使用 execute 处理十万条数据耗时约 12 秒。

2016-07-15 16:24:42,177 DEBUG my_mysql.py listsave 172 sql execute 2016-07-15 16:24:42,177 DEBUG my_mysql.py listsave 173 insert into `strategy_set` (`paramete_set_id`,`m`,`n`,`p`,`strategy`,`need_update`) (... 2016-07-15 16:24:54,394 DEBUG my_mysql.py listsave 175 sql executemany num: 128801

使用 executemany 处理十万条数据耗时约 26 秒。

2016-07-15 16:27:57,545 DEBUG my_mysql.py listsave 162 insert into `strategy_set` (`paramete_set_id`,`m`,`n`,`p`,`strategy`,`need_update`) VALUES (%s,%s,%s,%s,%s,%s) ON duplicate KEY UPDATE `need_update`=0 2016-07-15 16:27:57,545 DEBUG my_mysql.py listsave 163 [[37, 1, 2, 10, 'dzyj', 1], [37, 1, 2, 11, 'dzyj', 1], [37, 1, 2, 12, 'dzyj', 1], [37, 1, 2, 13, 'dzyj', 1], [37, 1, 2, 14, 'dzyj', 1], [37, 1, 2, 15, 'dzyj', 1], [37, 1, 2, 16, 'dzyj', 1], [37, 1, 2, 17, 'dzyj', 1], [37, 1, 2, 18, 'dzyj', 1], [37, 1, 2, 19, 'dzyj', 1]]... 2016-07-15 16:28:23,786 DEBUG my_mysql.py listsave 165 sql executemany num: 128801

注意：如果在 SQL 存入或更新数据时不添加引号，数据库默认将其视为数字，并根据字段类型进行转换。

例如，若向 varchar 字段存入 '000333'，最终存储的值可能变为 333。

以上关于将 pymysql 获取到的 tuple 数据类型转化为 pandas 的方法及注意事项已全部分享，希望能对大家有所帮助。