基于GAN的文本自动生成系统的设计与实现文献综述

 2021-11-05 19:26:11

毕业论文课题相关文献综述

在主要的文献中,面对文本自动生成的相关任务其一般采用传统的LSTM方法,其损失情况是基于贪心决策的,即只针对当前的局部情况来进行下一个序列token的选取,而通过查看最新的文献后,对于文本序列生成这方面的任务还可以通过强化学习的方法来完善,17年上交大提出的SeqGAN就很好的解决了这个问题,在这个模型中利用到了生成对抗网络模型,LSTM序列决策模型,CNN卷积神经网络模型,和强化学习中的蒙特卡洛随机采样的方法。

虽然说现在的GAN的变种越来越多,但是其对抗思想都是没有变化的,简单的来说,就是在生成的过程中加入了一个可以鉴别真实数据和生成数据的鉴别器,使生成器G和鉴别器D相互对抗,D的作用是努力的分辨真实数据和生成数据,G的作用是努力改进自己从而可以生成可以迷惑D的数据,当D无法再分辨出真假数据的时候,则认为此时的G已经达到了一个很优秀的效果。

生成对抗网络(GAN)使用判决性模型来指导生成模型的训练作为强化学习策略,这已经在文本生成中有很好的结果。

但是,来自判别器D的标量指导信号是稀疏的,只有在生成完整文本后才可用,并且在生成过程中缺少关于文本结构的中间信息。

因此,当生成的文本样本的长度很长时,效果不佳。

真实世界中的数据分布可能会有多个样本集中的波峰。

例如,假设有一个数据集,其中包含澳大利亚中部爱丽丝泉(通常非常热)和南极南极(通常非常寒冷)的夏日温度读数的混合数据。

数据的分布是双峰的 - 两个地区的平均温度存在峰值,两者之间存在差距。

如上图。

现在我们想训练一个产生合理温度值的 GAN。

剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付

以上是毕业论文文献综述,课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。