Python数据分析常用统计方法与实操指南

一、准备环境与核心依赖库

进行数据分析前，需确保已安装主流科学计算生态包。直接使用 pip install numpy scipy matplotlib pandas 即可完成基础环境配置。后续代码默认已导入以下核心模块：

import numpy as np
import scipy.stats as stats
import matplotlib.pyplot as plt

二、描述性统计：快速获取数据分布特征

描述性统计用于刻画数据集的基础轮廓，涵盖集中趋势、离散程度与分位信息。

1. 集中趋势度量

• 均值（Mean）：反映整体平均水平，对极端值敏感。
• 中位数（Median）：排序后位于中间的数值，抗异常值干扰。
• 众数（Mode）：出现频率最高的离散值。

data = [10, 20, 30, 40, 50]
print("均值:", np.mean(data))
print("中位数:", np.median(data))

from statistics import mode
mode_data = [10, 20, 30, 20, 50, 20]
print("众数:", mode(mode_data))

2. 离散程度与百分位数

标准差与方差衡量数据波动范围；百分位数可定位特定比例的数据切点，常用于识别离群值。

std_dev = np.std(data)
variance = np.var(data)
print(f"标准差:{std_dev:.2f} | 方差:{variance:.2f}")

q1 = np.percentile(data, 25)
q3 = np.percentile(data, 75)
print(f"Q1(25%):{q1} | Q3(75%):{q3}")

三、假设检验：验证总体差异与变量关联

假设检验通过样本推断总体特征，核心关注统计量与 p-value（通常以 0.05 为显著性阈值）。

1. t-检验（独立样本）

用于判断两组连续型数据的均值是否存在统计学差异。

group_a = [25, 30, 35, 40, 45]
group_b = [20, 28, 32, 38, 42]
t_stat, p_val = stats.ttest_ind(group_a, group_b)
print(f"T统计量:{t_stat:.4f} | P值:{p_val:.4f}")
# p_val < 0.05 表示两组均值差异显著

2. 卡方检验（独立性检验）

适用于分类变量，检测两个属性之间是否相互独立。

observed_matrix = [[10, 20], [30, 40]]
chi2, p_chi, dof, expected = stats.chi2_contingency(observed_matrix)
print(f"卡方值:{chi2:.4f} | P值:{p_chi:.4f}")

3. 单因素方差分析（ANOVA）

当比较三组及以上均值差异时使用，避免多次两两检验带来的误差累积。

group_c = [15, 18, 25, 30, 35]
f_stat, p_f = stats.f_oneway(group_a, group_b, group_c)
print(f"F统计量:{f_stat:.4f} | P值:{p_f:.4f}")

四、回归建模与数据可视化输出

通过数学拟合量化变量间关系，并结合图表直观展示分布规律。

1. 简单线性回归

利用 scipy.stats.linregress 提取斜率、截距及相关系数，快速建立一元线性方程。

x = np.array([1, 2, 3, 4, 5])
y = np.array([2, 4, 5, 4, 5])
slope, intercept, r_value, p_val, std_err = stats.linregress(x, y)

# 可视化拟合效果
plt.figure(figsize=(6,4))
plt.scatter(x, y, color='blue', label='原始数据')
plt.plot(x, slope * x + intercept, color='red', label=f'拟合线(y={slope:.2f}x+{intercept:.2f})')
plt.legend()
plt.xlabel('自变量 X')
plt.ylabel('因变量 Y')
plt.title('线性回归拟合图')
plt.show()

print(f"斜率:{slope:.4f} | 截距:{intercept:.4f} | 相关系数r:{r_value:.4f}")

2. 常用分布与关系图表

# 直方图：观察单变量概率密度分布
sample_data = np.random.randn(1000)
plt.hist(sample_data, bins=30, density=True, alpha=0.6, color='g', edgecolor='black')
plt.title('数据频率分布直方图')
plt.xlabel('数值区间')
plt.ylabel('概率密度')
plt.show()

# 散点图：探索双变量相关性
x_rand = np.random.randn(100)
y_line = 2 * x_rand + np.random.randn(100)
plt.scatter(x_rand, y_line, marker='o', color='purple', alpha=0.6)
plt.xlabel('X轴变量')
plt.ylabel('Y轴变量')
plt.title('变量散点关系图')
plt.show()

五、完成判断与常见问题排查

统计操作完成后，可通过以下节点确认流程有效性：

• 结果可复现性：固定随机种子（np.random.seed(42)）后再次运行，输出日志需保持一致。
• 假设前提校验：t检验与方差分析要求数据近似正态分布且方差齐性；非正态分布数据建议改用 Mann-Whitney U 等非参数检验。
• 代码执行状态：plt.show() 正常弹出窗口或渲染静默无报错，且控制台打印出明确数值，即表示模块加载与计算链路通畅。

以上就是 Python 数据分析中常见统计方法与实操实现的详细内容，更多关于 Python 数据处理与统计建模的资料请关注本站其它相关文章！