TensorFlow 自定义 Loss 下部分变量初始化的解决方案

TensorFlow 变量初始化基础

在 TensorFlow 框架中，变量的初始化通常遵循标准流程：

  #variables ...........
  #..................... 
  init = tf.initialize_all_variables()
  sess.run(init)

默认情况下，调用 tf.initialize_all_variables() 会对图中所有定义的变量进行初始化操作。

部分变量初始化的常规做法

在实际开发场景中，若存在变量 a、b 和 c，且变量 a 已完成初始化，仅需对变量 b 和 c 进行单独初始化，操作方式如下：

  #variables ...
  ...
  init = tf.variables_initializer([b,c])
  sess.run(init)

自定义优化器引发的初始化报错

然而，如果用户自定义了优化器（optimizer），上述代码可能会抛出异常：

  #definition of variables a, b, c ...
  ....
  my_optimizer = tf.train.RMSProp(learning_rate = 0.1).minimize(my_cost)
  init = tf.variables_initializer([b,c])
  sess.run(init)

通过集合运算解决初始化问题

报错原因在于，自定义优化器在构建过程中会生成额外的内部变量，但这些新增变量并未包含在初始化的变量列表中，导致运行时无法访问。解决该问题的具体步骤如下：

  a = tf.Variables(...)      #line N
  temp = set(tf.all_variables()) 
  b = tf.Variables(...)
  c = tf.Variables(...) 
  #definition of my optimizer
  optimizer = tf.train.......
  init = tf.variables_initializer(set(tf.all_varialbles())-temp) # line M
  sess.run(init)

首先，执行 temp = set(tf.all_variables())，将当前代码行（标记为 line N）之前已存在的所有变量保存至集合 temp 中。随后，定义变量 b、c 以及自定义优化器。接着，再次调用 set(tf.all_variables()) 获取当前行（标记为 line M）之前的所有变量集合，该集合包含了优化器生成的新变量以及 temp 中的原有变量。最后，通过集合差集运算 set(tf.all_variables()) - temp，即可精确提取出 line N 至 line M 之间新定义的变量。

以上即为在 TensorFlow 自定义 Loss 场景下实现部分变量初始化的完整方案，供开发者参考。