Python数据分析全流程代码:从Pandas读取CSV到Matplotlib可视化
系统讲解Python数据分析的标准全流程代码实现,从使用Pandas读取CSV文件、数据清洗与探索性统计,到基于Matplotlib面向对象接口完成高质量图表可视化,提供开箱即用的完整示例与工程避坑指南。
在日常业务与科研实践中,一个完整的数据分析工作流通常包含五个关键阶段:环境准备与原始数据加载、数据结构探索与验证、数据清洗与类型规整、指标统计聚合计算,以及基于图表的可视化呈现。本文以一份标准销售明细数据为例,提供一套逻辑严密、可直接复现的端到端代码方案,逐一剖析每个环节的核心函数与参数选择标准,帮助读者建立清晰规范的 Python 数据分析落地范式。
一、准备工作与示例数据环境搭建
进行数据分析前,需确保 Python 运行环境中已正确安装数据处理库 pandas 以及绘图库 matplotlib。推荐使用独立的虚拟环境或标准 Python 3.9 及以上版本。
# 终端安装命令
pip install pandas matplotlib
为了让后续所有代码都能独立执行并复现相同结果,我们首先编写一段构建仿真 CSV 文件 sales_data.csv 的脚本。该数据集模拟零售业务的销售记录,包含日期、区域、产品类别、销量、单价以及包含部分缺失值和异常格式的真实业务特征:
import pandas as pd
import numpy as np
# 构建模拟数据集以供后续流程读取
raw_data = {
'order_id': [1001, 1002, 1003, 1004, 1005, 1006, 1007, 1008, 1009, 1010],
'date': ['2024-01-05', '2024-01-12', '2024-01-20', '2024-02-03', '2024-02-18',
'2024-02-25', '2024-03-02', '2024-03-15', '2024-03-22', '2024-03-29'],
'region': ['华东', '华北', '华南', '华东', '华北', '华东', '华南', '华北', '华东', '华南'],
'category': ['电子产品', '日用百货', '电子产品', '办公用品', '电子产品',
'日用百货', '办公用品', '电子产品', '办公用品', '日用百货'],
'quantity': [12, 45, 8, np.nan, 15, 60, 35, 10, 50, 40], # 包含一处缺失值
'unit_price': [120.0, 15.5, 350.0, 25.0, 99.0, 18.0, 30.0, 420.0, 22.0, 16.5]
}
# 导出为目标 CSV 文件
init_df = pd.DataFrame(raw_data)
init_df.to_csv('sales_data.csv', index=False, encoding='utf-8')
print("示例数据文件 sales_data.csv 生成完毕,准备进入全流程读取与分析。")
二、使用 Pandas 读取 CSV 文件及其核心配置
读取 CSV 文件在语法上非常简明,调用 pd.read_csv() 即可将磁盘文件载入内存为 DataFrame 对象。但在实际业务中,最常遇到的障碍是字符编码错误、日期未解析以及大文件内存溢出。理解核心参数的作用是规避读取错误的前提。
import pandas as pd
# 基础且规范的读取方式
file_path = 'sales_data.csv'
# parse_dates 指定需要解析为 datetime 类型的列
# encoding 指定文件字符集,中文通常为 'utf-8' 或 'gbk'
df = pd.read_csv(
file_path,
encoding='utf-8',
parse_dates=['date']
)
# 查看数据前 5 行确认结构
print(df.head())
常见误区与参数边界说明:
初学者容易认为只要写 pd.read_csv('filename.csv') 就能自动识别所有类型。实际上,如果不显式指定 parse_dates,日期列会被默认当作普通字符串(object 类型)加载,后续将无法直接按月份、季度提取时间特征。此外,若在 Windows 下通过 Excel 编辑保存的 CSV 文件,其默认编码往往是 gbk 或带 BOM 的 utf-8-sig;若出现 UnicodeDecodeError,应将参数切换为 encoding='gbk'。
三、数据质量审查与清洗转换
未经清洗的原始数据直接计算或画图,往往会导致统计偏差或代码崩溃。加载数据后的首要动作是检查数据维度、字段类型和缺失值分布,并执行确定的清洗逻辑。
# 1. 结构与缺失情况核查
print("--- 数据基本信息 ---")
df.info()
print("\n--- 数值型统计特征 ---")
print(df.describe())
print("\n--- 缺失值统计 ---")
print(df.isna().sum())
# 2. 缺失值处理:结合业务实际,缺失销量采用中位数填充或整行剔除
# 此处对于销量缺失的记录进行中位数填充
median_qty = df['quantity'].median()
df['quantity'] = df['quantity'].fillna(median_qty)
# 3. 数据类型强制校准:销量应为整型
df['quantity'] = df['quantity'].astype(int)
# 4. 特征工程:计算每笔订单的销售总金额 (amount) 以及提取所属月份 (month)
df['amount'] = df['quantity'] * df['unit_price']
df['month'] = df['date'].dt.to_period('M').astype(str)
print("\n--- 清洗与派生列构建后的数据 ---")
print(df.head())
四、分组统计与聚合指标计算
直接画出几十万行原始散点图往往既不美观也无法传递业务信息,可视化的本质是展示聚合后的规律。我们利用 Pandas 提供的 groupby() 算子分别按“品类”和“月份”两个维度汇总总销售额与平均客单价。
# 1. 维度一:按商品大类 (category) 汇总总销售额与总销量
category_summary = df.groupby('category').agg(
total_sales=('amount', 'sum'),
total_quantity=('quantity', 'sum'),
order_count=('order_id', 'count')
).reset_index()
# 按总销售额降序排列
category_summary = category_summary.sort_values(by='total_sales', ascending=False)
print("--- 各品类销售表现汇总 ---")
print(category_summary)
# 2. 维度二:按月份 (month) 统计销售额趋势
monthly_summary = df.groupby('month').agg(
monthly_sales=('amount', 'sum')
).reset_index()
print("\n--- 月度销售趋势汇总 ---")
print(monthly_summary)
五、基于 Matplotlib 的面向对象数据可视化
在 Python 生态中,Matplotlib 存在两种绘图范式:一种是仿 MATLAB 风格的全局状态机接口 plt.plot(),另一种是显式实例化 Figure(画布)和 Axes(子图坐标系)的面向对象接口。在实际工程项目中,强烈推荐使用面向对象接口,它能在多子图排版、坐标轴定制以及图形细节控制上提供更高的稳定性和可维护性。
中文字体与图形样式初始化
Matplotlib 默认采用 Western 字体,直接绘制中文字符会出现方块乱码(豆腐块)。因此在绘图前必须全局注入支持中文的字体列表并修正负号显示配置:
import matplotlib.pyplot as plt
# 配置中文字体,优先匹配常见系统字体
plt.rcParams['font.sans-serif'] = ['PingFang SC', 'Microsoft YaHei', 'SimHei', 'Arial Unicode MS']
# 确保坐标轴负号正常显示而非乱码方块
plt.rcParams['axes.unicode_minus'] = False
六、端到端完整串联代码(可直接复制执行)
以下是将前述“读取数据、清洗过滤、聚合计算、双子图绘制与本地保存”整合成的一份标准可执行脚本。该脚本自包含全部逻辑,无须依赖外部数据库即可直接运行并导出最终高清图表。
import os
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
def run_analysis_pipeline(input_csv_path: str, output_img_path: str):
"""
Python 数据分析标准处理管线:
从 Pandas 读取 CSV 到 Matplotlib 高清可视化输出
"""
print(f"1. 正在从 {input_csv_path} 读取数据...")
if not os.path.exists(input_csv_path):
raise FileNotFoundError(f"未找到目标数据文件: {input_csv_path}")
# 读取 CSV 并解析时间字段
df = pd.read_csv(input_csv_path, encoding='utf-8', parse_dates=['date'])
print("2. 正在执行数据质量清洗与特征派生...")
# 填充缺失值:用中位数填充 quantity
qty_median = df['quantity'].median()
df['quantity'] = df['quantity'].fillna(qty_median).astype(int)
# 派生指标:订单总额与提取年月份
df['amount'] = df['quantity'] * df['unit_price']
df['month'] = df['date'].dt.to_period('M').astype(str)
print("3. 正在执行维度分组统计...")
# 维度1:按品类汇总
cat_summary = df.groupby('category')['amount'].sum().reset_index()
cat_summary = cat_summary.sort_values(by='amount', ascending=False)
# 维度2:按月份汇总
month_summary = df.groupby('month')['amount'].sum().reset_index()
print("4. 正在使用 Matplotlib 进行面向对象双子图绘制...")
# 全局字体与排版配置
plt.rcParams['font.sans-serif'] = ['PingFang SC', 'Microsoft YaHei', 'SimHei', 'Arial Unicode MS']
plt.rcParams['axes.unicode_minus'] = False
# 创建 1 行 2 列的子图画布 (宽 12 英寸,高 5 英寸)
fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(12, 5))
# 子图1:品类销售额条形图
bars = ax1.bar(
cat_summary['category'],
cat_summary['amount'],
color='#556247',
edgecolor='#343a2c',
width=0.55
)
ax1.set_title('各商品品类销售总额', fontsize=14, pad=12, fontweight='bold')
ax1.set_xlabel('商品分类', fontsize=11, labelpad=8)
ax1.set_ylabel('销售金额 (元)', fontsize=11, labelpad=8)
ax1.grid(axis='y', linestyle='--', alpha=0.4)
# 在柱子顶端标注具体金额数字
for bar in bars:
height = bar.get_height()
ax1.annotate(
f'{height:,.1f}',
xy=(bar.get_x() + bar.get_width() / 2, height),
xytext=(0, 4),
textcoords="offset points",
ha='center', va='bottom', fontsize=10, color='#2d3330'
)
# 子图2:月度销售额趋势折线图
ax2.plot(
month_summary['month'],
month_summary['amount'],
marker='o',
linewidth=2.2,
color='#8A9478',
markersize=6,
markerfacecolor='#464B48'
)
ax2.set_title('月度销售金额变化趋势', fontsize=14, pad=12, fontweight='bold')
ax2.set_xlabel('月份 (YYYY-MM)', fontsize=11, labelpad=8)
ax2.set_ylabel('销售金额 (元)', fontsize=11, labelpad=8)
ax2.grid(True, linestyle='--', alpha=0.4)
# 折线节点数值标注
for _, row in month_summary.iterrows():
ax2.annotate(
f"{row['amount']:,.1f}",
xy=(row['month'], row['amount']),
xytext=(0, 8),
textcoords="offset points",
ha='center', va='bottom', fontsize=10, color='#2d3330'
)
# 紧凑排版,避免坐标轴文字溢出重叠
plt.tight_layout()
# 5. 图像保存与资源释放
print(f"5. 正在导出高清图像到 {output_img_path}...")
fig.savefig(output_img_path, dpi=300, bbox_inches='tight')
plt.close(fig) # 及时关闭画布,释放内存
print("全流程执行顺利结束!")
if __name__ == '__main__':
run_analysis_pipeline('sales_data.csv', 'sales_analysis_report.png')
七、工程实践中的高频问题与避坑指南
在数据分析实际工程中,从读取到呈现还会面临各种细微但致命的陷阱。掌握以下排查方案能大幅提升代码的健壮性:
| 环节 | 高频报错 / 异常表现 | 根本原因 | 标准应对方案 |
|---|---|---|---|
| CSV 读取 | UnicodeDecodeError |
文件并非 UTF-8 编码(如 Windows Excel 默认保存为 GBK/ANSI) | 显式传入 encoding='gbk' 或 encoding='utf-8-sig'。 |
| 数据修改 | SettingWithCopyWarning 警告 |
在 DataFrame 的切片视图(View)上直接执行了链式赋值操作 | 对切片子集进行修改前显式调用 df.loc[:, 'col'] = val 或添加 .copy()。 |
| 分组聚合 | TypeError: agg function failed |
对非数值类型列调用了 sum() 或 mean() |
在聚合前使用 df.dtypes 审查字段,或在 agg() 中指明特定列名。 |
| 可视化 | 中文字符显示为白色方块(豆腐块) | Matplotlib 缺失指定中文系统字体的回退匹配 | 设置 plt.rcParams['font.sans-serif'] 包含 PingFang SC 或 Microsoft YaHei。 |
| 内存开销 | 大文件读取导致系统报 MemoryError |
数百万行数据直接一次性全部装载至内存 | 使用 chunksize 参数分块流式读取与聚合,或指定 usecols 只加载目标列。 |
八、总结
从 Pandas 读取 CSV 到 Matplotlib 绘制可视化的全流程,核心在于**保持数据状态在内存中的单向有序流动**:以规范的参数完成加载,以防御性思维审查与规整脏数据,以明确的业务目标执行分组聚合,最后通过面向对象模式精细化控制图表元素。遵循这一工程范式,不仅能够产出逻辑严密、排版美观的数据图表,更能确保数据分析脚本在生产环境与长期维护中具备极高的稳定性和复现性。
免责声明:本文内容仅供参考,不代表本站观点。转载或引用请注明出处。









