如何在TensorFlow中添加正则化？

Question

我在使用TensorFlow实现的许多可用神经网络代码中发现，正则化项通常是通过在损耗值上手动添加一个附加项来实现的。

我的问题是：

1. 是否有比手动进行更优雅或推荐的正规化方法？

2. 我也发现get_variable有一个争论regularizer。应该如何使用？根据我的观察，如果我们向其传递正则化器（例如tf.contrib.layers.l2_regularizer，将计算表示正则化项的张量并将其添加到名为的图集合中tf.GraphKeys.REGULARIZATOIN_LOSSES，该集合是否会被TensorFlow自动使用（例如，优化器在训练时使用）？期望我自己使用该收藏集吗？

Answer 1

如第二点regularizer所述，建议使用参数。您可以在中使用它get_variable，也可以在其中设置一次，variable_scope并对所有变量进行规范化。

损失收集在图中，您需要像这样将它们手动添加到成本函数中。

  reg_losses = tf.get_collection(tf.GraphKeys.REGULARIZATION_LOSSES)
  reg_constant = 0.01  # Choose an appropriate one.
  loss = my_normal_loss + reg_constant * sum(reg_losses)

希望有帮助！