解决TensorFlow调用Keras库函数存在的问题
本文探讨了在TensorFlow中混合使用Keras Function API与原生TF算子时，GRU层initial_state未正确更新导致预测波形断续且不收敛的问题。通过对比Keras封装代码与原生dynamic_rnn实现，指出需手动管理状态更新。此外，还整理了TensorFlow除法运算中的类型匹配错误及tf.cast等常用函数的避坑指南。
TensorFlow与Keras混合使用的问题背景
TensorFlow自1.4版本起引入了Keras作为高层封装库。为了将基于Keras的GRU代码迁移至TensorFlow环境，作者尝试利用TensorFlow内置的Keras模块，采用Function API定义神经网络结构，而训练逻辑则使用原生TensorFlow编写。初步运行未报错，但输出结果与预期存在偏差，怀疑模型欠拟合，因此选用正弦波预测余弦波的任务来验证算法有效性。
部分调用Keras库的代码如上图所示。在使用正弦波预测余弦波的任务中，出现了特定的异常现象。
def interface(_input):
tmp = tf.keras.layers.Dense(10)(_input)
vad_gru = tf.keras.layers.GRU(24, return_sequences=True)(tmp)
denoise_output = tf.keras.layers.Dense(1)(vad_gru)
return denoise_output生成的波形呈现断断续续的状态，且模型最终未能收敛。
经过长时间的运行观察后。
GRU initial_state未更新导致波形异常
基本确定问题源于程序实现本身。经排查，发现原因是GRU层的initial_state未被正确更新，导致网络无法学习前一次迭代的输出，从而造成波形断续。因此，决定放弃使用Keras库，改用原生方式重新实现。
部分重构后的代码如下。
def interface(_input):
tmp = tf.keras.layers.Dense(10)(_input)
gru_cell = tf.nn.rnn_cell.GRUCell(vad_cell_size)
with tf.name_scope('initial_state'):
cell_init_state = gru_cell.zero_state(batch_size, dtype=tf.float32)
cell_outputs, cell_final_state = tf.nn.dynamic_rnn(
gru_cell, tmp, initial_state=cell_init_state, time_major=False)
denoise_output = tf.keras.layers.Dense(1)(cell_outputs)
return denoise_output, cell_init_state, cell_final_state对应的波形图如下（这展示了GRU的正确使用方式）。
回顾之前调用Keras的代码，既然问题在于initial_state未更新，那么该如何进行状态更新呢？
查阅大量网络资料后，有观点建议添加特定代码。
update_ops = []
for old_value, new_value in layers.updates:
update_ops.append(tf.assign(old_value, new_value))然而添加该代码后并未产生效果，不确定是添加方式有误还是其他原因，欢迎指正。
以下是作者进行的一些尝试过程，此处不再逐一详述，供读者参考交流。若有其他解决方法，欢迎分享。
def interface(_input):
# input_layer = tf.keras.layers.Input([None, 1])
# input_layer = tf.keras.layers.Input(batch_shape=(50, 20, 1))
tmp = tf.keras.layers.Dense(10)(_input)
# tmp = tf.keras.layers.Dense(24)(tmp)
# with tf.variable_scope('vad_gru', reuse=tf.AUTO_REUSE):
# vad_gru, final_state = tf.keras.layers.GRU(24, return_sequences=True, return_state=True, stateful=True)(tmp)
# print(vad_gru)
# _initial_state = vad_gru.zero_state(50, tf.float32)
# tf.get_variable_scope().reuse_variables()
# vad_gru = tf.contrib.
# tmp = tf.reshape(tmp, [-1, TIME_STEPS, vad_cell_size])
gru_cell = tf.nn.rnn_cell.GRUCell(vad_cell_size)
# gru_cell = tf.keras.layers.GRUCell(self.vad_cell_size)
with tf.name_scope('initial_state'):
cell_init_state = gru_cell.zero_state(batch_size, dtype=tf.float32)
cell_outputs, cell_final_state = tf.nn.dynamic_rnn(
gru_cell, tmp, initial_state=cell_init_state, time_major=False)
# print(cell_outputs.get_shape().as_list())
# cell_outputs = tf.reshape(cell_outputs, [-1, vad_cell_size])
denoise_output = tf.keras.layers.Dense(1)(cell_outputs)
print(denoise_output.get_shape().as_list())
# model = tf.keras.models.Model(input_layer, denoise_output)
# update_ops = []
# for old_value, new_value in model.layers[1].updates:
# update_ops.append(tf.assign(old_value, new_value))
return denoise_output, cell_init_state, cell_final_state
TensorFlow除法运算与类型匹配避坑指南
补充知识：TensorFlow和Keras常用方法（避坑）
TensorFlow
在TensorFlow中，除法运算需要注意以下两点：
1. 除法运算可能会使结果精度提升一级，例如float32除以float32可能得到float64，这可能导致后续计算出现类型不匹配。
2. 除法运算要求分子和分母类型一致，否则将报错。
可能产生的类似错误提示如下：
-1. TypeError: x and y must have the same dtype, got tf.float32 != tf.int32
-2. TypeError: Input ‘y' of ‘Mul' Op has type float32 that does not match type float64 of argument ‘x'.
-3. ValueError: Tensor conversion requested dtype float64 for Tensor with dtype float32: ‘Tensor(“Sum:0”, shape=(), dtype=float32)'
-4. ValueError: Incompatible type conversion requested to type ‘int32' for variable of type ‘float32_ref'
解决办法：
tf.cast(a, tf.float32) # 转换为相同类型即可
tf.boolean_mask
K.gather
K.argmax
K.max
以上关于解决TensorFlow调用Keras库函数存在问题的内容即为分享的全部，希望能对读者有所帮助，也希望大家多多支持本站。
免责声明：本文内容仅供参考，不代表本站观点。转载或引用请注明出处。
