首页
学习
活动
专区
圈层
工具
发布

NLP硬核入门-PointerNet和CopyNet

Generate-Mode& Copy-Mode模块会维护两个词表,一个是传统的词表(但是这个词表不包含UNK),一个是源序列中的词构成的词表。...第二点是:如果目标序列中的词y有在源序列词表中,那么Copy-Mode输出的概率就不为0。...y在源序列的各个step中每出现一次,就要根据公式计算一次概率值,最后Copy-Mode输出的概率,等于源序列的所有step中有出现y的概率值之和。...decoder输出的大部分关键词来源于Copy-Mode,这体现了abstractive summarization。...论文里解释说这个ζ是用来为Copy-Mode提供信息的,但是根据Copy-Mode的计算公式,其中本来就带有上下文信息和对齐信息了,再加上ζ里的信息就有点多余了。

1.4K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到
    领券