Python实现幂律分布数据可视化与线性拟合详解
本文详解如何利用Python进行幂律分布的数据可视化。通过推导对数变换公式,阐明双对数坐标下幂律关系转化为线性方程的原理。结合Matplotlib与Scikit-learn库,演示从生成带噪声的幂律数据、绘制散点图到使用线性回归模型进行拟合的全过程,并评估拟合效果。
幂律分布公式推导
首先进行公式推导。
针对幂律分布的基本公式:

对公式等式两边同时取以10为底的对数:


由此可知,对于幂律公式,当对变量X和Y取对数后,其在坐标系中表现为线性方程。
可视化与双对数坐标原理
接下来进行可视化处理。
从图形角度观察幂律分布及其拟合效果:

对X轴和Y轴均取以10为底的对数。在视觉效果上,这意味着X轴上1到10的距离与10到100的距离相等。

对X和Y进行双对数变换后,坐标轴上的数据点能够很好地用直线进行拟合。因此,判断数据是否符合幂律分布,只需对X和Y取双对数,并检验能否用一条直线良好拟合即可。常用的直线拟合效果评估指标包括拟合误差平方和以及R平方值。
Python代码实现
以下是具体的代码实现部分。
#!/usr/bin/env python
# -*-coding:utf-8 -*-
import matplotlib.pyplot as plt
import numpy as np
from sklearn import linear_model
from scipy.stats import norm
def DataGenerate():
X = np.arange(10, 1010, 10) # 0-1,每隔着0.02一个数据 0处取对数,会时负无穷 生成100个数据点
noise=norm.rvs(0, size=100, scale=0.2) # 生成50个正态分布 scale=0.1控制噪声强度
Y=[]
for i in range(len(X)):
Y.append(10.8*pow(X[i],-0.3)+noise[i]) # 得到Y=10.8*x^-0.3+noise
# plot raw data
Y=np.array(Y)
plt.title("Raw data")
plt.scatter(X, Y, color='black')
plt.show()
X=np.log10(X) # 对X,Y取双对数
Y=np.log10(Y)
return X,Y
def DataFitAndVisualization(X,Y):
# 模型数据准备
X_parameter=[]
Y_parameter=[]
for single_square_feet ,single_price_value in zip(X,Y):
X_parameter.append([float(single_square_feet)])
Y_parameter.append(float(single_price_value))
# 模型拟合
regr = linear_model.LinearRegression()
regr.fit(X_parameter, Y_parameter)
# 模型结果与得分
print('Coefficients: \n', regr.coef_,)
print("Intercept:\n",regr.intercept_)
# The mean square error
print("Residual sum of squares: %.8f"
% np.mean((regr.predict(X_parameter) - Y_parameter) ** 2)) # 残差平方和
# 可视化
plt.title("Log Data")
plt.scatter(X_parameter, Y_parameter, color='black')
plt.plot(X_parameter, regr.predict(X_parameter), color='blue',linewidth=3)
# plt.xticks(())
# plt.yticks(())
plt.show()
if __name__=="__main__":
X,Y=DataGenerate()
DataFitAndVisualization(X,Y)


以上关于Python数据可视化中幂律分布的实例详解全部内容已分享完毕,希望能为大家提供参考,也希望大家继续支持本站。
免责声明:本文内容仅供参考,不代表本站观点。转载或引用请注明出处。









