可控生成文章汇总

刺骨的言语ヽ痛彻心扉 2022-01-26 07:25 233阅读 0赞

## 1.2018(aclweb)-Towards Controllable Story Generation ##

摘要：我们提出了一个分析现有故事语料库的总体框架, 以产生可控和创造性的新故事。该框架几乎不需要手动注释就能实现可控的故事生成。它为人类创建了一个新的界面, 用于与计算机交互以生成个性化的故事。我们应用该框架构建基于重复神经网络 (RNN) 的生成模型, 以控制故事结束的功能 1 (Egidi 和 Gerrig, 2009年) 和故事情节。实验表明, 我们的方法通过引入故事情节, 成功地实现了故事的控制, 增强了故事的一致性。随着额外的控制因素, 生成模型获得较低的困惑, 并根据人类评价产生更多忠实于控制因素的连贯故事。

**总结：**这篇文章通过对结局的二分标签（happy-end和bad-end）以及故事线单词的提取（选择故事中除了结局部分以外最重要的单词作为故事线）控制了故事的生成。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70][]

我的笔记：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 1][]

![20190528150328969.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 2][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 3][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 4][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 5][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 6][]

## 2.2018（aclweb）-E2E NLG Challenge Submission: Towards Controllable Generation of Diverse Natural Language ##

摘要：在自然语言生成 (NLG) 中, 任务是从更抽象的输入 (如结构化数据) 生成话语。另一个挑战是产生包含输入的准确表示的话语, 同时反映人为生成的文本的流畅性和多样性。本文报告了可用于任务导向对话系统的 NLG 模型的实验。我们探讨如何利用对该模式的额外投入, 鼓励产出的多样性和控制。虽然我们提交的材料没有高度使用自动度量, 但对生成的话语进行定性调查表明, 在神经网络 NLG 系统中使用更多信息是一个很有希望的研究方向

**总结：这篇文章主要是通过在作为生成目标的句子中采样单词，把这些单词添加到生成器的输入中，我觉得有点直接给参考答案的意思，一个具体的采样方法如下面这个例子所示**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 7][]

后面是我的另一些笔记：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 8][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 9][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 10][]

## 3.AAAI2018-A Deep Generative Framework for Paraphrase Generation ##

这篇文章我之前的笔记里面已经有详细的介绍，主要是有这个结构

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 11][]

## 4.AAAI2018-Long Text Generation via Adversarial Training with Leaked Information ##

摘要：自动生成相干和语义上有意义的文本在机器翻译、对话系统、图像字幕等方面有着广泛的应用。最近, 通过与政策梯度相结合, 利用判别模型指导生成模型作为强化学习政策的训练, 生成对抗性网 (GAN) 在文本生成方面取得了可喜的成果。然而, 标量导向信号只有在生成了整个文本之后才能获得, 并且在生成过程中缺乏有关文本结构的中间信息。因此, 当生成的文本示例的长度很长 (超过20个单词) 时, 它限制了它的成功。在本文中, 我们提出了一个新的框架, 称为 LeakGAN, 以解决长文本生成的问题。我们允许判别网将自己的高级提取特征泄露到生成网络中, 以进一步帮助指导。生成器通过一个额外的管理模块将这些信息信号集成到所有生成步骤中, 该模块提取了当前生成的单词的特征, 并输出一个潜在的向量来指导工人模块的下一个单词生成。我们通过图灵测试对合成数据和各种现实世界任务进行的广泛实验表明, LeakGAN 在长文本生成中非常有效, 并且提高了短文本生成方案中的性能。更重要的是, 如果没有任何监督, LeakGAN 只能通过经理和工作者之间的互动来隐式学习句子结构

**总结**：这篇文章主要是把判别器的信息泄露到生成器中，也是有点给参考答案的意思，没细读

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 12][]

## 5.ICAART-2019-Towards Controlled Transformation of Sentiment in Sentences ##

**摘要**：许多自然语言加工产品的开发障碍是获得满意结果所需的大量培训实例。生成这些示例通常是一项繁琐而耗时的任务。本文提出了一种改变句子情绪的方法,以限制生成更多训练数据所需的工作。这意味着一个句子可以转换为相反的情绪句子,并且应该将文本生成所需的工作减少一半。建议的管道由一个情绪分类器组成,该分类器具有注意机制,用于突出显示决定句子情绪的短句。然后,使用基线模型和自动编码器方法将这些短语更改为相反情绪的短语。实验在管道的不同部分和端到端模型上运行。情绪分类器对其准确性进行了测试,并发现其性能良好。自动编码器测试它能够在多大程度上改变编码短语的情绪,并发现这样的任务是可能的。我们使用人工评估来判断完整(端到端)管道的性能,并表明使用单词矢量的模型优于编码器模型。数值评价表明,情绪变化的成功率为54.7%。

## 总结： ##

这篇文章主要是通过用一个有attention的情感分类器在imdb上训练得到准确度为89的模型（先编码字级别，然后是句子级别，最后由文档级别的向量决定最后的情感类型），然后用两种方法处理attention抽取到的词（一种是基于编码的方法，一种是基于词典的方法）。最后把这两种方法得到的词替换原文中的词或者加入原文，实现了只改变情感极性不改变原文的目标。下面是她的模型结构

**帮助**：关于attention的部分可以参考做实验

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 13][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 14][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70]: /images/20220126/fdb968001554475486306307fdbb2b97.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 1]: /images/20220126/267e8e4cd2024deb99abf5b121c8b437.png
[20190528150328969.png]: /images/20220126/79edc17601e440d78f93973a99f654e0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 2]: /images/20220126/d8bf3956c7504603ace476eabd8fba96.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 3]: /images/20220126/8509fa00ae9f4480b2547d594a700a30.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 4]: /images/20220126/a81d2907d56c43b48107a6bd329fa5fb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 5]: /images/20220126/fe642b3c3b0b4c8084e5bda9867cdfbd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 6]: /images/20220126/927bbb1d558a43758fc110ec4a223e1d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 7]: /images/20220126/ba152380030c44d68a6e81b1e81ff4cd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 8]: /images/20220126/cc77ed193a594175a306b60bc4f0913b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 9]: /images/20220126/d4adb7850b7c426da6bc8bb6a0e4958f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 10]: /images/20220126/b92c506cbef54d1c85680cdd4064929a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 11]: /images/20220126/9db6adca2c794c5fbc958629f2f55401.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 12]: /images/20220126/c06a5b1706a6431d83b70be80b9f0f7d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 13]: /images/20220126/7fbbf54867e34297a1867724c6c9d463.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 14]: /images/20220126/9c908e6c135641d3b6cb6f20865d6d00.png