Python逻辑回归分类实现：从原理到通用模板

一只小鹿

发布时间：2026-10-13| 4人浏览过

原创

本文介绍Python中逻辑回归分类器的实现方法。逻辑回归通过最大似然概率构建方程，利用牛顿梯度上升求解参数。其优势在于计算成本低且易于理解，但可能面临欠拟合风险。文章提供了适用于多维数据集的完整代码模板，涵盖Sigmoid定义、参数迭代及预测函数，适合初学者快速上手。

逻辑回归原理与特点

逻辑回归分类器的核心思想是利用最大似然概率方法构建方程，并通过牛顿梯度上升法最大化该方程以求解参数。

该算法的优势在于计算成本较低，且概念易于理解和实现。
其局限性在于容易出现欠拟合现象，导致分类精度可能不够理想。
该算法适用的数据类型包括数值型和标称型数据。

Python逻辑回归实现模板

接下来进入具体实现环节。

此处省略算法推导过程，直接提供一个适用于任意维度数据集的通用模板。尽管代码结构与梯度下降相似，但逻辑回归本质上属于分类算法。

首先定义Sigmoid激活函数。

Sigmoid函数定义


def sigmoid(x):
 return 1/(1+np.exp(-x))

接着进行逻辑回归的参数初始化及迭代计算。

参数迭代计算


def weights(x,y,alpha,thershold):
 #初始化参数
 m,n = x_train.shape
 theta = np.random.rand(n) #参数
 cnt = 0 # 迭代次数
 max_iter = 50000
 #开始迭代
 while cnt < max_iter:
  cnt += 1
  diff = np.full(n,0)
  for i in range(m):
   diff = (y[i]-sigmoid(theta.T @ x[i]))*x[i]
   theta = theta + alpha * diff
  if(abs(diff)<thershold).all():
   break
 return theta

然后编写预测函数。

预测函数实现


def predict(x_test,theta):
 if sigmoid(theta.T @ x_test)>0.5:
  return 1
 else:return 0

最后调用上述函数完成模型训练与预测。

函数调用与测试


x_train = np.array([[1,2.697,6.254],
     [1,1.872,2.014],
     [1,2.312,0.812],
     [1,1.983,4.990],
     [1,0.932,3.920],
     [1,1.321,5.583],
     [1,2.215,1.560],
     [1,1.659,2.932],
     [1,0.865,7.362],
     [1,1.685,4.763],
     [1,1.786,2.523]])
y_train = np.array([1,0,0,1,0,1,0,0,1,0,1])
alpha = 0.001 # 学习率
thershold = 0.01 # 指定一个阈值，用于检查两次误差
print(weights(x_train,y_train,alpha,thershold))

对实现过程进行总结。

以上即为Python利用逻辑回归进行分类的完整实现模板，希望能为读者提供有效的参考与帮助。