Python标准库csv模块读取数据教程(无需安装第三方库)

认真发呆
认真发呆
发布时间:2026-11-17| 1人浏览过
原创

本教程详细讲解如何使用Python内置标准库csv模块读取CSV文件数据,全面涵盖csv.reader与csv.DictReader用法、参数配置、编码处理及避坑指南。

在Python开发中,处理以逗号分隔的结构化表格文件(CSV)是极其常见的数据读取需求。许多初学者首先想到的往往是安装Pandas等重型第三方库,但在轻量级脚本、自动化运维、容器化部署或严苛的离线生产环境中,额外安装第三方包不仅增加依赖体积,还可能引入兼容性开销。Python语言本身内置了功能完善、执行高效的 csv 标准库,无需执行任何 pip install 即可直接导入使用。本文将全面介绍如何使用内置 csv 模块稳定、规范地读取各类CSV数据文件,理清核心参数与常见陷阱,帮助你在不依赖任何外部工具的前提下,写出健壮可靠的数据读取程序。

Python标准库csv模块读取数据教程(无需安装第三方库)
图1:Python标准库csv模块的标准读取操作流水线与执行阶段

一、快速上手:使用 csv.reader 按行读取

csv.reader 是标准库中最基础的读取接口。它接收一个已经打开的可迭代文件对象,逐行读取内容并按指定规则切分成字符串列表(List[str])。

1. 最简读取示例

假设当前目录下存在一个名为 users.csv 的数据文件,内容如下:

name,age,department,city
张三,28,技术研发部,北京
李四,34,产品运营部,上海
王五,25,市场策划部,深圳

使用 csv.reader 进行读取的标准代码如下:

import csv

# 推荐使用 with 语句管理文件资源
with open('users.csv', mode='r', encoding='utf-8', newline='') as file:
    reader = csv.reader(file)
    for row in reader:
        print(row)

运行上述代码后,每一行数据都会被解析为一个原生的 Python 列表(示例输出):

['name', 'age', 'department', 'city']
['张三', '28', '技术研发部', '北京']
['李四', '34', '产品运营部', '上海']
['王五', '25', '市场策划部', '深圳']

2. 跳过表头行(Header)

在实际业务中,首行通常是字段名而非具体数据。由于 csv.reader 返回的是一个迭代器对象,我们可以直接调用 Python 内置的 next() 函数将首行读出并丢弃(或保存为表头变量),后续的 for 循环将直接从第二行数据开始遍历:

import csv

with open('users.csv', mode='r', encoding='utf-8', newline='') as file:
    reader = csv.reader(file)
    header = next(reader)  # 读取并暂存首行表头
    print(f"检测到字段表头: {header}")
    
    for row in reader:
        # 通过下标索引获取具体字段值
        name = row[0]
        age = int(row[1])  # 显式转换为数值类型
        city = row[3]
        print(f"姓名: {name}, 年龄: {age}, 所在城市: {city}")
Python标准库csv模块读取数据教程(无需安装第三方库)
图2:csv.reader (基于下标列表) 与 csv.DictReader (基于字典映射) 的解析结构对比

二、语义化读取:使用 csv.DictReader 映射为字典

虽然 csv.reader 运行速度极快,但在实际业务开发中,数据文件的列顺序可能会随着业务迭代而增减或调换。如果依赖 row[0]、row[3] 这样的硬编码下标,一旦表格格式微调,整个程序就会出现取值错位甚至静默逻辑错误。为此,标准库提供了 csv.DictReader 类。

1. 基本用法

csv.DictReader 会自动将文件的第一行解析为字典的键(Keys),随后的每一行数据都会被解析为一个有序字典,访问字段时直接通过表头名称索引:

import csv

with open('users.csv', mode='r', encoding='utf-8', newline='') as file:
    dict_reader = csv.DictReader(file)
    
    # 打印自动识别到的字段名列表
    print(f"解析到的列名: {dict_reader.fieldnames}")
    
    for row in dict_reader:
        # 直接通过列名提取,语义清晰且不依赖列顺序
        name = row['name']
        age = int(row['age'])
        dept = row['department']
        city = row['city']
        print(f"员工: {name} | 部门: {dept} | 城市: {city} | 年龄: {age}")

2. 自定义表头(处理无表头文件)

如果源 CSV 文件本身没有表头行,首行就是具体数据,直接使用 DictReader 会导致第一行数据被错误地当作字典键。此时可以通过传入 fieldnames 参数显式指定字段名:

import csv

# 假设 raw_logs.csv 第一行直接是数据:2026-10-16,ERROR,DatabaseTimeout,Node-03
custom_headers = ['log_date', 'level', 'message', 'node_id']

with open('raw_logs.csv', mode='r', encoding='utf-8', newline='') as file:
    reader = csv.DictReader(file, fieldnames=custom_headers)
    for row in reader:
        print(f"[{row['log_date']}] {row['level']} 在 {row['node_id']}: {row['message']}")
参数补充说明:

当某一行的字段数量少于 fieldnames 时,缺失字段在字典中的默认值为 None(可通过 restval 参数自定义填充值);当某一行字段数量多于 fieldnames 时,多出来的字段会被存放在一个以 restkey 指定的键名下的列表中。

Python标准库csv模块读取数据教程(无需安装第三方库)
图3:CSV读取底层机制:RFC 4180 换行状态机与多编码支持拓扑

三、进阶控制:处理非常规分隔符与复杂格式

虽然 CSV 名字中带有“Comma(逗号)”,但在工业实践中,制表符分隔(TSV)、分号分隔(在欧洲某些地区或特定财务软件中很常见)或包含复杂双引号转义的文件屡见不鲜。csv 模块通过可配置的方言(Dialect)和参数提供了强大的适应能力。

1. 自定义分隔符(delimiter)

如果读取的是以制表符 \t 分隔的 TSV 文件,或者以分号 ; 分隔的数据,只需指定 delimiter 参数:

import csv

# 读取制表符分隔的文件
with open('data.tsv', mode='r', encoding='utf-8', newline='') as file:
    reader = csv.reader(file, delimiter='\t')
    for row in reader:
        print(row)

# 读取分号分隔的文件
with open('finance.csv', mode='r', encoding='utf-8', newline='') as file:
    reader = csv.DictReader(file, delimiter=';')
    for row in reader:
        print(row)

2. 忽略分隔符后的空白字符(skipinitialspace)

某些软件导出的 CSV 在分隔符后附带多余的空格,如 "张三", 28, "研发部"。默认情况下,28 前面的空格会被当作数据的一部分读入为 ' 28'。将 skipinitialspace=True 传入后,紧随分隔符后的空格将被自动忽略:

import csv

with open('data.csv', mode='r', encoding='utf-8', newline='') as file:
    # 忽略逗号后的空格
    reader = csv.reader(file, skipinitialspace=True)
    for row in reader:
        print(row)

3. 引号规则与类型自动转换(quoting)

默认情况下,无论 CSV 中的内容是否带有引号,csv.reader 读取出的字段一律是字符串类型 str。如果希望非引号包裹的数值自动解析为浮点数(float),可以设置 quoting=csv.QUOTE_NONNUMERIC:

import csv

# 假设内容为: "Apple",12.5,100
with open('inventory.csv', mode='r', encoding='utf-8', newline='') as file:
    reader = csv.reader(file, quoting=csv.QUOTE_NONNUMERIC)
    for row in reader:
        # row[0] 为 str ('Apple')
        # row[1] 自动解析为 float (12.5)
        # row[2] 自动解析为 float (100.0)
        print(row, [type(x) for x in row])

四、避坑指南:必须掌握的注意事项

常见问题 / 异常 根本原因 标准解决方案
漏写 newline='' 跨平台时换行符解析错乱,当单元格内部存在换行文本时导致整行数据被错误切断 调用 open() 时始终指定 newline=''
首个字段名包含 \ufeff Windows 或 Excel 导出文件带有 UTF-8 BOM 签名头 指定 encoding='utf-8-sig' 自动剥离 BOM
数值计算抛出 TypeError csv 模块默认所有字段均为纯文本 str 根据字段业务含义显式执行 int() 或 float() 转换
二次遍历迭代器为空 csv.reader 是单向惰性迭代器,遍历完毕后指针停在文件末尾 使用 file.seek(0) 重置指针,或提前用 list(reader) 缓存
Python标准库csv模块读取数据教程(无需安装第三方库)
图4:Python标准库csv模块技术选型与工程实践总结全景图

五、端到端综合实战:健壮的读取与数据清洗

结合前面所学的所有要点,下面给出一个包含编码自动兼容、异常数据捕获以及类型强转的工业级读取模板:

import csv

def load_sales_data(filepath):
    """
    健壮读取销售数据CSV文件
    包含容错处理、类型转换与格式校验
    """
    valid_records = []
    
    # 使用 utf-8-sig 兼容带或不带 BOM 的 UTF-8 文件,newline='' 保证换行一致
    try:
        with open(filepath, mode='r', encoding='utf-8-sig', newline='') as file:
            reader = csv.DictReader(file)
            
            for line_no, row in enumerate(reader, start=2):  # 表头为第1行,数据从第2行算起
                try:
                    record = {
                        'product_id': row['product_id'].strip(),
                        'price': float(row['price'].strip()),
                        'quantity': int(row['quantity'].strip()),
                        'category': row.get('category', 'Uncategorized').strip()
                    }
                    record['total_amount'] = round(record['price'] * record['quantity'], 2)
                    valid_records.append(record)
                except (ValueError, KeyError) as err:
                    print(f"[警告] 第 {line_no} 行解析失败,跳过该记录: {row},错误: {err}")
                    continue
                    
    except UnicodeDecodeError:
        # 若遭遇系统级ANSI编码,尝试回退到 gbk
        print("[提示] 检测到非UTF-8编码,正在切换为 GBK 编码重试...")
        with open(filepath, mode='r', encoding='gbk', newline='') as file:
            reader = csv.DictReader(file)
            for line_no, row in enumerate(reader, start=2):
                record = {
                    'product_id': row['product_id'].strip(),
                    'price': float(row['price'].strip()),
                    'quantity': int(row['quantity'].strip()),
                    'category': row.get('category', 'Uncategorized').strip()
                }
                record['total_amount'] = round(record['price'] * record['quantity'], 2)
                valid_records.append(record)

    return valid_records

# 示例调用与校验
if __name__ == '__main__':
    data = load_sales_data('sales.csv')
    print(f"成功载入 {len(data)} 条有效记录")
    for item in data[:3]:
        print(item)

通过使用 Python 内置的标准库 csv 模块,开发者不仅完全摆脱了对重量级第三方库的依赖,使脚本运行更加敏捷轻便,而且能够通过底层的 reader 与 DictReader 精细把控数据流、编码以及边界异常,是每一位 Python 开发者必须掌握的基础内功。

免责声明:本文内容仅供参考,不代表本站观点。转载或引用请注明出处。

Python 相关产品和应用

全部下载
Selenium

Selenium

4.51.0 · Windows

用于浏览器自动化和 Web 测试的 Python 工具。

scikit-learn

scikit-learn

1.9.1 · Windows

常用 Python 机器学习算法与模型评估工具库。

Black

Black

26.10.1 · Windows

强调一致性的 Python 自动代码格式化工具。

Ruff

Ruff

0.17.1 · macOS

由 Rust 编写的高速 Python 代码检查和格式化工具。

pytest

pytest

9.1.1 · Windows

简洁而强大的 Python 自动化测试框架。

FastAPI

FastAPI

0.146.0 · Windows

高性能 Python API 框架,支持类型提示和自动接口文档。

Flask

Flask

3.1.3 · Windows

轻量灵活的 Python Web 应用框架。

Django

Django

6.1.2 · Windows

成熟的 Python Web 框架,适合构建内容站点和业务系统。

Spyder

Spyder

6.1.7 · Windows

面向科学计算与数据分析的 Python 集成开发环境。

SciPy

SciPy

1.18.1 · Windows

面向科学、工程和技术计算的 Python 算法库。