使用 TensorFlow 实现简单逻辑回归与可视化

逻辑回归的基本原理

逻辑回归可以被视为一种仅包含一层网络的前向传播神经网络。与复杂的深层网络不同，其参数连接的权重通常是一个标量值而非矩阵。其核心预测公式为：

y_predict = logistic(X * W + b)

其中，X 代表输入数据，W 为权重参数，b 为偏置项。激活函数通常选用 Sigmoid 或 Tanh，这使得逻辑回归成为一种有效的分类器模型。在训练过程中，目标函数通常定义为预测值 y_predict 与真实标签 Y 之间的 L2 距离（均方误差）。为了最小化该损失，通常采用随机梯度下降算法或更先进的优化器来迭代更新权重和偏置。

TensorFlow 实现步骤

以下是使用 TensorFlow 实现简单逻辑回归的完整代码示例。该示例涵盖了数据准备、模型定义、训练循环及结果可视化。

# -*- coding:utf-8 -*-
#功能： 使用tensorflow实现一个简单的逻辑回归
import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt
 
#创建占位符
X=tf.placeholder(tf.float32)
Y=tf.placeholder(tf.float32)
 
#创建变量
#tf.random_normal([1])返回一个符合正太分布的随机数
w=tf.Variable(tf.random_normal([1],name='weight'))
b=tf.Variable(tf.random_normal([1],name='bias'))
 
y_predict=tf.sigmoid(tf.add(tf.mul(X,w),b))
num_samples=400
cost=tf.reduce_sum(tf.pow(y_predict-Y,2.0))/num_samples
 
#学习率
lr=0.01
optimizer=tf.train.AdamOptimizer().minimize(cost)
 
#创建session 并初始化所有变量
num_epoch=500
cost_accum=[]
cost_prev=0
#np.linspace（）创建agiel等差数组，元素个素为num_samples
xs=np.linspace(-5,5,num_samples)
ys=np.sin(xs)+np.random.normal(0,0.01,num_samples)
 
with tf.Session() as sess:
  #初始化所有变量
  sess.run(tf.initialize_all_variables())
  #开始训练
  for epoch in range(num_epoch):
    for x,y in zip(xs,ys):
      sess.run(optimizer,feed_dict={X:x,Y:y})
    train_cost=sess.run(cost,feed_dict={X:x,Y:y})
    cost_accum.append(train_cost)
    print "train_cost is:",str(train_cost)
 
    #当误差小于10-6时 终止训练
    if np.abs(cost_prev-train_cost)<1e-6:
      break
    #保存最终的误差
    cost_prev=train_cost
#画图 画出每一轮训练所有样本之后的误差
plt.plot(range(len(cost_accum)),cost_accum,'r')
plt.title('Logic Regression Cost Curve')
plt.xlabel('epoch')
plt.ylabel('cost')
plt.show()

代码关键点解析

1. 占位符与变量定义：使用 tf.placeholder 定义输入 X 和标签 Y，使用 tf.Variable 定义可训练的权重 w 和偏置 b，初始值采用正态分布。
2. 预测与损失计算：通过 tf.sigmoid 应用激活函数，计算预测值 y_predict。损失函数 cost 定义为预测值与真实值之差的平方和的平均值。
3. 优化器配置：使用 tf.train.AdamOptimizer 作为优化器，自动调整学习率以最小化损失函数。
4. 训练循环：在会话中初始化所有变量，通过嵌套循环迭代训练数据。每次迭代后记录训练成本，当连续两次迭代的成本差小于 1e-6 时提前终止训练。
5. 可视化：使用 matplotlib 绘制训练过程中的成本曲线，横轴为迭代次数，纵轴为损失值，直观展示模型收敛情况。

总结

通过上述示例，我们展示了如何利用 TensorFlow 构建并训练一个简单的逻辑回归模型。该方法不仅适用于线性分类问题，也为理解更复杂的神经网络结构奠定了基础。通过调整学习率、迭代次数及优化器策略，可以进一步优化模型性能。

以上就是使用 TensorFlow 实现简单逻辑回归的详细内容，更多关于机器学习、Python 编程及神经网络技术的资料请关注本站其它相关文章！