Python MySQLdb executemany 批量插入与 ON DUPLICATE KEY UPDATE 避坑指南
本文介绍Python中使用MySQLdb的executemany进行批量数据插入的性能优势及注意事项。重点解析%s占位符在日期字段中不可加引号的原理，以及executemany与ON DUPLICATE KEY UPDATE联用时易出现的字符串格式化报错及其解决方案，帮助开发者避免数据插入错误并提升处理效率。
在使用Python的executemany方法执行数据批量插入操作时，有几个关键细节需要特别注意，以确保数据的正确性和执行的稳定性。
#coding:utf8
conn = MySQLdb.connect(host = “localhost”, user = “root”, passwd = “123456”, db = “myDB”)
cursor = conn.cursor()
sql = “insert into myTable (created_day,name,count) values(%s,%s,%s) ON DUPLICATE KEY UPDATE count=count+values(count)”
args=[("2012-08-27","name1",100),("2012-08-27","name1",200),("2012-08-27","name2",300)]
try:
cursor.executemany(sql, args)
except Exception as e:
print0(“执行MySQL: %s 时出错：%s” % (sql, e))
finally:
cursor.close()
conn.commit()
conn.close()
参数args通常是一个包含多个元组的列表，每个元组对应MySQL中的一条记录。需要特别注意的是，对于created_day字段对应的%s占位符，绝对不能加上引号。这是因为executemany内部机制会先对SQL语句进行正则匹配查找%s，随后进行字符串嵌入处理。如果给%s加上引号，MySQL可能会将其解析为非法日期格式，导致插入类似“0000-00-00”的错误日期数据。
当需要一次性插入大量数据时，强烈推荐使用executemany方法。根据实际测试经验，逐条执行insert语句可能需要耗费2至3小时，而使用executemany仅需2至3秒即可完成，性能提升显著。
当executemany与ON DUPLICATE KEY UPDATE子句联合使用时，若按照常规SQL写法，例如：sql=”insert into myTable (created_day,name,count) values(%s,%s,%s) ON DUPLICATE KEY UPDATE count=count+%s”，程序往往会抛出“not all arguments converted during string formatting”的格式化错误。这通常是因为executemany对参数数量的解析与ON DUPLICATE KEY UPDATE中的占位符处理存在冲突，需调整SQL结构或参数传递方式。
以上介绍了Python中executemany的具体用法及常见陷阱，希望能对各位开发者有所帮助。如有任何疑问或发现其他潜在问题，欢迎留言交流，我们将及时回复。感谢大家对本站的支持！
免责声明：本文内容仅供参考，不代表本站观点。转载或引用请注明出处。
