Python获取SQLite3数据库表名与字段名的方法及数据清洗示例

Python获取SQLite3表名与字段名的方法

在使用Python对sqlite3数据库进行操作时，获取字段名是常见需求。与MySQL等数据库不同，sqlite3执行select语句时不会直接返回带有字段名的字典格式数据集。对于不熟悉结构的sqlite数据库，若需借助外部工具查看结构，则未能充分发挥Python的便捷性。

通过以下两段代码，可以快速获取sqlite数据库中所有数据表的名称以及各表的字段名列表。

# python 获取sqlite3数据库mydb.db中的表名和表字段名
 
import sqlite3
conn=sqlite3.connect('mydb.db')
cu=conn.cursor()
 
#获取表名，保存在tab_name列表
cu.execute("select name from sqlite_master where type='table'")
tab_name=cu.fetchall()
tab_name=[line[0] for line in tab_name]
 
#获取表的列名（字段名），保存在col_names列表,每个表的字段名集为一个元组
col_names=[]
for line in tab_name:
  cu.execute('pragma table_info({})'.format(line))
  col_name=cu.fetchall()
  col_name=[x[1] for x in col_name]
  col_names.append(col_name)
  col_name=tuple(col_name)
 
#之所以保存为元组，一是可避免误操作修改字段名，二是元组巧用转化字符串，可
#直接用于SQL的insert语句中。例如下面代码可得到第一个表的带括号字段名集合：
'''
  sql_col_name=str(col_names[0]).replace('\'','')
'''
 
      

基于字段名的数据清洗应用

获取字段名后，可进一步利用这些信息进行数据处理。

例如，若sqlite数据库中的数据源自Excel导入，Excel中误录入的回车符会被一同存入数据库，在sqlite中显示为字符'\n'。以下代码展示了如何去除所有字段中的该字符。

#删除第一个表中所有文本型字段中的回车符（注：存入数据库中的回车符取出
#后会展现为原始字符'\n'）
cu.execute('select * from '+ tab_name[0])
cdset=cu.fetchall()
cdset=[list(line) for line in cdset] #将结果集的元组转为列表，才能修改。
for line in cdset:
  for x in range(len(line)):
  #注：作为For循环计数变量不能在循环体中修改，此处不能用x in line代替
    if type(line[x])==str and (r'\n' in line[x]):  #只能修改字符型数据
      line[x]=line[x].replace(r'\n','')
      sql="update {bm} set {cm}='{vm}' where {cm2}={vm2}".format(
        bm=tab_name[0],cm=col_names[0][x],vm=line[x],cm2=col_names
        [0][0],vm2=line[0])
        #此处cm2必须是表中具有排它性的主键字段,非字符型字段
      cu.execute(sql)
conn.commit()

以上关于Python获取sqlite3数据库表名和字段名的实例分享完毕，希望能为读者提供参考，并欢迎大家继续支持本站。