SQL语句去重与重复记录获取方法汇总

核心目标

掌握从数据表中消除冗余信息的方法，同时学会识别哪些数据存在重复，以便进行后续的数据清洗或分析。此外，还包括在不同数据库系统中获取元数据（如表名、字段名）的基础技巧。

准备条件

需要拥有对目标数据库表的查询权限，并确保连接的数据库类型（如 SQL Server 或 Access）已知，因为部分系统视图（如 sysobjects 或 MSysObjects）具有特定的兼容性。

真实操作顺序

第1步：使用 GROUP BY 消除重复记录

目的： 当表中存在基于特定字段（如 RoleID）重复的记录，但需要保留每组的某一条原始数据（如主键最小的那行）时使用。

动作： 结合聚合函数与分组。

-- 假设 UserID 为主键，RoleID 为重复字段
-- 选取每组 RoleID 中 UserID 最小的一条完整记录
SELECT MIN(UserID) AS UserID, RoleID 
FROM tmpTable 
GROUP BY RoleID;

第2步：筛选出所有的重复记录

目的： 识别哪些字段的值出现了多次，常用于发现数据异常。

动作： 利用 HAVING COUNT(*) > 1 过滤分组统计结果。

-- 找出出现次数大于1的 RoleID
SELECT RoleID 
FROM tmpTable 
GROUP BY RoleID 
HAVING (COUNT(*) > 1);

第3步：直接返回不重复的全部数据

目的： 简单场景下，希望返回完全唯一的行（所有字段组合都不同）。

动作： 使用 DISTINCT 关键字。

-- 去除完全相同的行
SELECT DISTINCT * FROM tmpTable;

获取数据库元数据（表名与字段名）

在处理大量数据前，了解数据库结构至关重要。以下提供两种主流数据库的元数据查询方式。

针对 SQL Server

查看所有用户表名：

SELECT name FROM sysobjects WHERE type='U';

查询指定表的所有字段名：将 '表名' 替换为实际表名。

SELECT name FROM syscolumns WHERE ID=OBJECT_ID('表名');

通用元数据查询：

-- 查看表信息
SELECT * FROM information_schema.tables;
-- 查看视图信息
SELECT * FROM information_schema.views;
-- 查看列信息
SELECT * FROM information_schema.columns;

针对 Microsoft Access

注意： MSysObjects 是系统隐藏对象。需在 Access 选项中开启“显示系统对象”才能通过界面可见，但可通过 SQL 直接查询。

查看所有表名：

SELECT name FROM MSysObjects WHERE type=1 AND flags=0;

其中 type=1 通常代表本地表，flags=0 用于排除系统内部辅助表。

简要总结

以上就是SQL语句去掉重复记录，获取重复记录的详细内容，更多关于SQL查询优化与数据库元数据管理的资料请关注本站其它相关文章！