MySQL 插入数据去重的5种方案：INSERT IGNORE、ON DUPLICATE KEY UPDATE等详解

核心解决方案概览

针对“不插入重复数据”的需求，主要可以分为利用 SQL 扩展语法自动处理或利用应用层逻辑判断两大类。以下是常用的几种 SQL 实现方式及其具体行为差异。

第1步：使用 INSERT IGNORE 快速跳过错误

目的：当尝试插入已存在的主键或唯一索引冲突记录时，静默忽略该次插入操作而不抛出异常。

操作方法：在执行普通的 INSERT INTO 语句前加入 IGNORE 关键字。例如：

INSERT IGNORE INTO USER ( NAME )
VALUES ( '张三' );

关键注意：此方法并非只过滤重复数据。如果插入操作因其他原因（如字段类型不匹配、约束违反等）导致失败，也会被静默忽略，仅返回警告信息。因此使用该法需确保 INSERT 语句本身的合法性，且无法通过返回值区分是“重复被忽略”还是“其他错误”。适合对个别非关键插入失败的容忍度较高的场景。

第2步：使用 ON DUPLICATE KEY UPDATE 实现冲突更新

目的：如果记录不存在则插入；如果因主键（Primary Key）或唯一索引（Unique Index）发生冲突，则执行指定的 UPDATE 语句。这是目前最推荐的原子性处理方式之一。

操作方法：结合 VALUES() 函数引用待插入的值，或在 Update 子句中使用特定逻辑。

INSERT INTO USER ( NAME, CREATE_TIME )
VALUES ( '张三', NOW() ) 
ON DUPLICATE KEY UPDATE 
CREATE_TIME = VALUES(CREATE_TIME);

关键注意：该方案要求目标列必须建立主键或唯一约束作为判断重复的依据。它不会忽略真正的 SQL 错误（如语法错误），且在 Update 后的行计数会显示为 2（表示影响了旧行和新行的逻辑）。相比原稿中的 id=id 这种无意义更新，实际业务中应更新需要改变的字段（如统计数、时间戳等）。

第3步：使用 REPLACE INTO 先删后插

目的：如果存在具有相同主键或唯一索引的记录，则先删除旧记录，再插入新记录。这是一种“覆盖式”更新。

操作方法：将 INSERT 替换为 REPLACE。

REPLACE INTO USER (ID, NAME) 
VALUES (1, '张三');

关键注意：由于底层逻辑是先 DELETE 再 INSERT，这会触发删除和插入的两组触发器，并且会导致自增主键（Auto Increment ID）发生变化（产生新的 ID）。此外，自增列的重置在某些存储引擎下需注意。如果表结构中包含外键关联，可能会引发外键约束错误。此方法适用于需要完全替换整行数据的场景，但不适用于保留原有部分信息的增量更新。

第4步：使用 INSERT ... SELECT WHERE NOT EXISTS

目的：通过子查询预先判断是否存在重复数据，只有当不存在时才执行插入。这本质上是将判断逻辑嵌入到了单次 SQL 命令中。

操作方法：

INSERT INTO USER (ID, NAME)
SELECT 1, '张三' FROM DUAL
WHERE NOT EXISTS (
    SELECT id FROM USER WHERE id = 1
);

关键注意：此写法依赖 MySQL 的临时表机制和子查询性能。在高并发或大数据量场景下，全表扫描的子查询效率较低。虽然保证了数据一致性，但在简单的主键冲突场景下，其性能通常不如前几种原生支持的方法。建议仅在涉及复杂的多表联合判断且不使用唯一索引的场景下考虑使用。

第5步：应用层唯一索引约束（最根本的保障）

目的：从数据库物理层面杜绝重复数据的产生，是所有上述方法的前置基础。

操作方法：确保表设计中有适当的 PRIMARY KEY 或 UNIQUE 索引。

重要参数：无论采用哪种 SQL 技巧，如果没有唯一约束，以上方法要么无效，要么性能极差（退化为逐条检查）。务必在数据库建模阶段规划好唯一性字段。

性能对比与选型建议

• 高性能/高频冲突：首选 ON DUPLICATE KEY UPDATE。它是原子操作，无需网络往返判断，效率高且安全。
• 完全覆盖更新/不计较自增ID：使用 REPLACE INTO，但需警惕触发器和外键影响。
• 容忍部分错误/非关键数据：使用 INSERT IGNORE，注意监控警告日志。
• 多字段复合判断：若冲突条件不在主键/唯一索引上，可考虑添加复合唯一索引，然后配合 INSERT IGNORE 或 ON DUPLICATE KEY 使用。

总结

MySQL 提供了丰富的内置指令来处理数据插入时的重复问题。在实际开发中，应根据业务需求（是保持旧数据、更新特定字段，还是完全覆盖）选择合适的方法。同时，合理规划数据库的唯一性索引是保证数据准确性的基石。以上就是详解 MySQL 不插入重复数据的详细内容，更多关于 MySQL 数据库操作技巧的资料请关注本站其它相关文章！