TensorFlow梯度求解tf.gradients实例解析

桃夭

发布时间：2026-10-13| 6人浏览过

原创

本文通过TensorFlow代码实例，演示如何使用tf.gradients函数计算梯度。以矩阵乘法为例，解析变量w1对结果res的导数计算过程，并展示梯度裁剪的实现方式，帮助开发者理解梯度反向传播的基本原理。

TensorFlow梯度计算代码示例

以下直接展示相关代码实现。


import tensorflow as tf 

w1 = tf.Variable([[1,2]]) 
w2 = tf.Variable([[3,4]]) 

res = tf.matmul(w1, [[2],[1]]) 

grads = tf.gradients(res,[w1]) 

with tf.Session() as sess: 
 tf.global_variables_initializer().run()
 print sess.run(res)
 print sess.run(grads)

运行上述代码后，得到的输出结果如下：


[[4]]
[array([[2, 1]], dtype=int32)]

从结果可以看出，res的值与w1存在关联。假设w1的参数设置为[a1, a2]，则它们之间的关系可表示为：

2*a1 + a2 = res

因此，对a1和a2分别求导，得到的梯度信息为 [[2, 1]]，这对应于w1的梯度值。

梯度裁剪与反向传播实现


import tensorflow as tf 
def gradient_clip(gradients, max_gradient_norm):
 """Clipping gradients of a model."""
 clipped_gradients, gradient_norm = tf.clip_by_global_norm(
   gradients, max_gradient_norm)
 gradient_norm_summary = [tf.summary.scalar("grad_norm", gradient_norm)]
 gradient_norm_summary.append(
  tf.summary.scalar("clipped_gradient", tf.global_norm(clipped_gradients)))

 return clipped_gradients
w1 = tf.Variable([[3.0,2.0]]) 
# w2 = tf.Variable([[3,4]]) 
params = tf.trainable_variables()
res = tf.matmul(w1, [[3.0],[1.]]) 
opt = tf.train.GradientDescentOptimizer(1.0)
grads = tf.gradients(res,[w1]) 
clipped_gradients = gradient_clip(grads,2.0)
global_step = tf.Variable(0, name='global_step', trainable=False)
#update = opt.apply_gradients(zip(clipped_gradients,params), global_step=global_step)
with tf.Session() as sess: 
 tf.global_variables_initializer().run()
 print sess.run(res)
 print sess.run(grads) 
 print sess.run(clipped_gradients)

以上关于TensorFlow梯度求解tf.gradients的实例分享完毕，希望能为读者提供参考。