Tensorflow中的预定采样

Question

关于seq2seq模型的最新Tensorflow API已包括计划的采样：

https://www.tensorflow.org/api_docs/python/tf/contrib/seq2seq/ScheduledEmbeddingTrainingHelper


https://www.tensorflow.org/api_docs/python/tf/contrib/seq2seq/ScheduledOutputTrainingHelper

计划抽样的原始文件可以在这里找到：https :
//arxiv.org/abs/1506.03099

我看报纸，但我不明白之间的差别ScheduledEmbeddingTrainingHelper和ScheduledOutputTrainingHelper。该文档仅说ScheduledEmbeddingTrainingHelper是一个训练助手，它添加了计划的采样，而ScheduledOutputTrainingHelper一个训练助手，是将计划的采样直接添加到输出。

我想知道这两个助手之间有什么区别？

Answer 1

我联系了此背后的工程师，他回答：

输出采样器在该时间步发出原始rnn输出或原始地面真相。嵌入采样器将rnn输出视为分布的对数，并在该时间步从该分类分布或原始地面真相发出采样ID的嵌入查找。