《Long Text Generation via Adversarial Training with Leaked Information》阅读笔记

蔚落 2022-01-21 06:37 197阅读 0赞

转自：[https://bigquant.com/community/t/topic/121098][https_bigquant.com_community_t_topic_121098]

**论文链接：**[Long Text Generation via Adversarial Training with Leaked Information 1][]

**代码链接**：[https://github.com/CR-Gjx/LeakGAN 2][https_github.com_CR-Gjx_LeakGAN 2]

**来源**：AAAI2018

**解决问题**：自动生成连贯的和语义上有意义的**长文本**

**贡献**：

本文中提出了一种称为LeakGAN的新算法框架，通过对抗训练生成长文本。通过泄漏由判别器提取的特征作为逐步引导信号，以指导生成器更好地生成长文本，同时借鉴分层强化学习从判别器向生成器提供更丰富的信息。LeakGAN解决了先前GAN解决方案中标量奖励信号的非信息性和稀疏性问题。在包含长，中，短文本的生成数据和实际数据的大量实验中，LeakGAN的性能比以前的解决方案有显著的提高，且在生成更长的句子时可以获得更高的性能收益。

**先前方案存在的问题：**

生成对抗网络（GAN）使用判决性模型来指导生成模型的训练作为强化学习策略，这已经在文本生成中有很好的结果。但是，来自判别器D的标量指导信号是稀疏的，只有在生成完整文本后才可用，并且在生成过程中缺少关于文本结构的中间信息。因此，当生成的文本样本的长度很长时，效果不佳。

**创新点：**

利用GAN中D的特征(softmax前一层的网络输出)，指导G中MANAGER模块的训练，使指导信号更有信息性；使用分层生成器结构，将整个生成任务分解为各种子任务，缓解指导信号的稀疏性问题。

## 模型 ##

![57fcc5dd2a32b53327873a0697b47fecd623a18e.jpg][]

分层生成器G由一个高层次的MANAGER模块和一个低层次的WORKER模块组成， G通过MANAGER模块将D泄露的信息整合到所有生成步骤中，该模块利用生成单词的提取特征并输出一个潜在向量来指导WORKER模块进行下一个单词的生成。

（1）MANAGER是一个长短时记忆模型（LSTM），担任mediator。在每一步中，它都会接收D的高级特征表示，例如CNN的特征图，并用它来生成WORKER模块的指导目标。

（2）考虑到MANAGER生成的目标嵌入，WORKER首先用另一个LSTM编码当前生成的词，然后结合LSTM的输出和目标嵌入来进行当前状态下的最终动作。因此，来自D的指导信号不仅在最后可用于G的标量奖励信号，而且在生成过程中可用于目标嵌入向量，以指导G如何得到改进。

**1、符号**

![s\_\{t\}=\\left( x\_\{1\},...,x\_\{i\},...,x\_\{t\} \\right)][s_t_left_ x_1_..._x_i_..._x_t_ _right] ：将先前生成的词作为当前状态

![G\_\{\\theta\}][G_theta] ：随机策略的θ参数化生成网络

![G\_\{\\theta\}(\\cdot|s\_\{t\})][G_theta_cdot_s_t] ：将 ![s\_\{t\}][s_t] 映射到整个词汇表上的一个分布

![x\_\{t+1\}][x_t_1] ：下一个要选择的词

![D\_\{\\phi\}][D_phi] ：φ参数化判别模型

![D\_\{\\phi\}(s\_\{T\})][D_phi_s_T] ： ![D\_\{\\phi\}][D_phi] 为 ![G\_\{\\theta\}][G_theta] 提供的标量引导信号，以便在生成完整的句子时调整参数

![f\_\{t\}][f_t] : 判别器在当前句子 ![s\_\{t\}][s_t] 为生成器 ![G\_\{\\theta\}(\\cdot|s\_\{t\})][G_theta_cdot_s_t] 提供的附加信息特征

**2、用判别器D的泄漏特征作为指导信号**

典型的model-free强化学习的奖励函数是黑盒子，本模型的对抗文本生成使用 ![D\_\{\\phi\}][D_phi] 作为学习奖励函数。 ![D\_\{\\phi\}][D_phi] 是一个神经网络，可以分解成一个特征提取器 ![F(\\cdot;\\phi\_\{f\})][F_cdot_phi_f] 和一个具有权向量 ![\\phi\_\{l\}][phi_l] 的最终sigmoid分类层。给定输入s，有：

![3787dee9c044a776b2747b351625419d33647a3f.jpg][]

其中 ![\\phi=(\\phi\_\{f\},\\phi\_\{l\})][phi_phi_f_phi_l] , ![sigmoid(z)=1/(1+e^\{-z\})][sigmoid_z_1_1_e_-z] 。 ![f=F(s;\\phi\_\{f\})][f_F_s_phi_f] 是 ![D\_\{\\phi\}][D_phi] 最后一层中s的特征向量，它被泄漏给生成器 ![G\_\{\\theta\}][G_theta] 。

对于给定的 ![D\_\{\\phi\}][D_phi] ，每个状态s的奖励值主要取决于提取的特征f。从 ![D\_\{\\phi\}][D_phi] 中获得更高奖励相当于提取的特征空间 ![F(S;\\phi\_\{f\})=\\left\{ F\\left( s;\\phi\_\{f\} \\right) \\right\}\_\{s\\in S\}][F_S_phi_f_left_ F_left_ s_phi_f_ _right_ _right_s_in S] 中找到更高的奖励。 ![D\_\{\\phi\}][D_phi] 中的特征提取器 ![F(\\cdot;\\phi\_\{f\})][F_cdot_phi_f] 由CNN实现，在convolution-pooling-activation层之后输出CNN特征映射向量f。与标量信号 ![D\_\{\\phi\}(s)][D_phi_s] 相比，特征向量f是一个对 ![G\_\{\\theta\}][G_theta] 更具信息性的引导信号，因为它知道当前生成的单词在提取的特征空间中的位置。

**3、生成器G的分层结构**

在生成过程中的每个步骤t中，为了利用来自 ![D\_\{\\phi\}][D_phi] 的泄漏信息 ![f\_\{t\}][f_t] ，模型遵循分层强化学习，以具有 ![G\_\{\\theta\}][G_theta] 的分层体系结构。引入一个MANAGER模块（一个LSTM），它在每个步骤t将提取的特征向量 ![f\_\{t\}][f_t] 作为输入，并输出一个目标向量 ![g\_\{t\}][g_t] ，然后将其输入到WORKER模块中，以指导下一个单词的生成，以便接近 ![F(S;\\phi\_\{f\})][F_S_phi_f] 中较高的奖励区域。

**4、生成过程**

MANAGER和WORKER模块都从全零隐藏状态开始，分别表示为 ![h\_\{0\}^\{M\}][h_0_M] 和 ![h\_\{0\}^\{W\}][h_0_W] 。MANAGER从判别器 ![D\_\{\\phi\}][D_phi] 接收泄漏特征向量 ![f\_\{t\}][f_t] ，进一步与MANAGER的当前隐藏状态组合以产生目标向量 ![g\_\{t\}][g_t] ，其中 ![M(\\cdot;\\theta\_\{m\})][M_cdot_theta_m] 表示由LSTM实现的MANAGER模块，参数为 ![\\theta\_\{m\}][theta_m] ， ![h\_\{t\}^\{M\}][h_t_M] 是LSTM的递归隐藏向量。

![a8db810638da4de07a6f62fb8c2504e7821e1c4f.jpg][]

为了结合由MANAGER产生的goal，对最新的c个goal进行求和并执行线性变换 ![\\psi][psi] ，权重矩阵为 ![w\_\{\\psi\}][w_psi] ，生成k维目标嵌入向量 ![w\_\{t\}][w_t] ：

![683db69431d8acbd42c6878fe466612cfb7cf2ea.jpg][]

给定目标嵌入向量 ![w\_\{t\}][w_t] ，WORKER模块将当前词 ![x\_\{t\}][x_t] 作为输入，并输出矩阵 ![O\_\{t\}][O_t]，通过和 ![w\_\{t\}][w_t] 进行矩阵乘积来确定当前状态下的最终动作空间分布。

其中 ![W(\\cdot;\\theta\_\{w\})][W_cdot_theta_w] 表示WORKER模块，即以 ![h\_\{t\}^\{w\}][h_t_w] 作为其隐藏向量的LSTM， ![O\_\{t\}][O_t] 是 ![\\left| V \\right|\\times k][left_ V _right_times k] 矩阵，表示所有词的当前向量， ![O\_\{t\}\\cdot w\_\{t\}][O_t_cdot w_t] 得出所有词的分对数，α是温度参数，控制生成熵。

**5、G的训练（使用来自 ![D\_\{\\phi\}][D_phi] 的指导信号训练MANAGER和WORKER）**

使用策略梯度算法（如REINFORCE）以端对端的方式训练 ![G\_\{\\theta\}][G_theta] 。单独训练MANAGER和WORKER模块，其中MANAGER经过训练以预测判别特征空间中的有利指导信号，WORKER得到奖励以遵循这些指导信号。MANAGER模块的梯度定义为：

![acbd88925deec004647c7181e8e185765720716d.jpg][]

其中![Q\_\{F\}(s\_\{t\},g\_\{t\})=Q(F(s\_\{t\}),g\_\{t\})=Q(f\_\{t\},g\_\{t\})=E\[r\_\{t\}\]][Q_F_s_t_g_t_Q_F_s_t_g_t_Q_f_t_g_t_E_r_t] 是当前策略下的预期奖励，可以通过Monte Carlo搜索近似估计。 ![d\_\{cos\}][d_cos] 代表c步转换后特征表示的变化（即 ![f\_\{t+c\}-f\_\{t\}][f_t_c_-f_t] ）和MANAGER产生的目标向量 ![g\_\{t\}(\\theta\_\{m\})][g_t_theta_m] 之间的余弦相似度。损失函数强制目标向量匹配特征空间中的转换，同时获得高奖励。

![75e48231afd24113bd6afa579424846abc062162.jpg][]

使用REINFORCE算法对WORKER进行训练以最大化奖励，这可以通过对状态 ![s\_\{t-1\}][s_t-1] 和WORKER采取的动作 ![x\_\{t\}][x_t] 进行采样来近似。当鼓励WORKER按照MANAGER的指示动作时，WORKER的内在奖励被定义为：

在对抗训练之前，需要训练 ![G\_\{\\theta\}][G_theta] ，其中MANAGER的梯度为：

![33ac0c603408b766131b91129d843a0df6bfa4f6.jpg][]

其中![\\tilde\{f\}\{t\}=f(\\tilde\{s\}\{t\})][tilde_f_t_f_tilde_s_t] ， ![\\tilde\{s\}\_\{t\}][tilde_s_t] 和 ![\\tilde\{s\}\_\{t+c\}][tilde_s_t_c] 是真实文本的状态，。MANAGER被训练成模仿特征空间中真实文本样本的转换。WORKER通过最大似然估计（MLE）进行训练。

在训练过程中，生成器Gθ和判别器Dφ交替训练。在生成器中，MANAGER ![M(\\cdot;\\theta\_\{m\})][M_cdot_theta_m] 和  
WORKER ![W(\\cdot;\\theta\_\{w\})][W_cdot_theta_w] ，固定其一，交替进行训练。

## 实验 ##

（\*\*1）生成数据库：\*\*用10,000个长度分别为20和40的序列作为生成模型的训练集S。

（\*\*2）GAN设置：\*\*对于判别器D，选择CNN作为特征提取器和二元分类器。文本的特征是一个1,720维向量。对于生成器G，采用LSTM作为MANAGER和WORKER的体系结构来捕获序列上下文信息。 MANAGER使用CNN提取的特征映射生成16维目标嵌入特征向量 ![w\_\{t\}][w_t] 。

\*\*（3）模型比较：\*\*用MLE训练的LSTM，SeqGAN，RankGAN，LeakGan

\*\*（4）评估指标：\*\*生成数据实验采用负对数似然（NLL）指标。实际数据实验采用BLEU统计数据和图灵测试中的人类评分

*  **生成数据实验**

（i）在预训练阶段，与其他模型相比，LeakGAN已经显示出可观察的性能优势，这表明所提出的分层体系结构本身带来了改进。

（ii）在对抗训练阶段，LeakGAN显示出更好的收敛速度，它探索的局部最小值明显优于先前的结果。结果证明信息泄露框架和分层RL架构在生成短文本和长文本方面的有效性。

![b451c8665507a94886066ea14f4a98a279a21728.jpg][]

*  **长文本生成：EMNLP2017 WMT新闻**

选择EMNLP2017 WMT4数据集作为长文本语料库。新闻数据集有5,742个单词和397,726个句子。随机抽取200,000个句子作为训练集，10,000个句子作为测试集。使用BLEU-(2至5)分数作为评估指标。

在所有评价指标中，LeakGAN与基线模型相比显示出显著的性能增益。连续较高的BLEU分数表明LeakGAN生成的句子在局部特征中具有高质量以模仿真实文本。

*  **中等文本生成：COCO图像标题**

选择COCO图像标题数据集作为中等文本语料库，该数据集包含许多图像描述对。

![e74f62cbff6d0a27b13f885e38096e02080914da.jpg][]

COCO数据集上的BLEU得分结果表明LeakGAN在中等长度文本生成任务中的表现明显优于基线模型。

*  **短文本的生成：中国诗歌**

为了评估LeakGAN在短文本生成中的表现，选择了中国诗歌数据集。该数据集由4行5字的诗组成，使用BLEU-2分数作为评估指标。

![2076d027fa271a008c6a6d76ff51ca72cb5af845.jpg][]

结果表明，LeakGAN成功地处理了短文本生成任务。

*  **长文本生成的性能鲁棒性**

![d479796b51ecd6da405451753361ab1beaac0cc7.jpg][]

EMNLP2017 WMT新闻数据的结果如图3所示。曲线表明，当生成的句子更长时，LeakGAN会在基线上产生更大的性能增益。这一事实支持了我们声称LeakGAN是长文本的强大框架。

## 未来工作 ##

未来希望计划通过提供更多特定于任务的指导信息，将LeakGAN应用于更多自然语言处理应用程序中。 此外，提高判别器检查整个句子全局一致性的能力是一个有希望的方向。

## 代码解读： ##

转自：[https://blog.csdn.net/qq\_36616268/article/details/84800719][https_blog.csdn.net_qq_36616268_article_details_84800719]

这篇文章是我看完RankGAN之后看的。这篇文章思想上是一个感觉还是有一定的前沿性。很新颖，至少之前没人这么想过。也把HRL和GAN结合在了一起。很Nice，这两天状态不好，看代码又花去了两天时间。

首先先说一下我看完代码之后的感觉吧：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NjE2MjY4_size_16_color_FFFFFF_t_70][]

第一点，leak主要体现在泄露了D对一个生成的句子提取的特征值（D也是根据这个特征值来得到最后的【fake，real】的）

第二点：因为使用了HRL的结构所以G就变成了manager和worker了（我对他这么处理的结构表示一丢丢的好奇）

第三点：rollout这个的MCsearch，我之前理解的有问题，我们可以先设置一个n，代表我们每一个G generate出来的data需要跑n大遍，也就是第一个循环，在这个循环里，我们再放开不同个数的given\_num的数据（比如  我是谁？，我放开：我是，我是这两个词就用于训练G的 hidden state（manager和worker的hidden state），然后生成的gen\_seq，把：我是  原封不动的读进去，然后在given\_num到seq\_length之间我们就需要预测了，逐个预测，然后填写到gen\_seq中）。

第四点：对于leak泄露给manger的数据，我们首先需要D计算出当前的 text 的 feature，那么每次提前直到的text的长度可能不一致（比如：你是谁？，一开始我可能只直到你，或者你是），所以这里采用的处理方法是用一个常量补齐就好了。

第五点：内部奖励，我们说到HRL，就必须要有内部奖励：内部奖励是1 减去 当前的sub\_feature，与goal的偏差的cos距离。

这里我们首先需要一个超参数step\_size，也就是goal每隔多少个文本才更新一下。所以假设我们的每个文本输入都是seq\_length这么长，step\_size = 3 ，那么我们得出来的goal就是\[g1,g1,g1,g2,g2,g2,g3,g3,g3......\]，而我们最后的到的特征状态为【feature(i)-feature(i-i%step\_size)】得到的\[sub\_f1,subf2,subf3.....\]，这里的feature是根据D的特征提取器算出来的，也就是leak过来的特征向量。

第六点:我需要串一下思路，对于 manager来说，我们每次都用从D leak过来的特征来计算出当前的目标   对于worker来说，这里我们每次都用当前的状态 去拿到 D的特征提取器看，我们当前已经有的特征，然后goal其实也就是目标特征，当两个差距越大，我们得到奖励也就越小，说明我们距离目标越远。奖励也就越小，最后直接用选取的动作gen\_x x  概率 x 奖励 当作loss即可

第七点：提出了基于排名的Bootstrapped Rescaled Activation来调整D反馈的大小，这个方法就相当于是一个值稳定器，当算法对数值大小很敏感的时候能够起到很大帮助；而且，作为排序方法，它也能避免梯度消失的问题，这加速了模型的收敛。（我从代码上没有看出他这一步是怎么做的，感觉有点神奇，也没有排序什么的，我向作者提交了issue，回复了以后，我回来更新）

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NjE2MjY4_size_16_color_FFFFFF_t_70 1][]

第八点:交替更新，这个就是在每次循环对抗更新的时候，再加上一个监督学习，起一个引导作用，但是代码中好像并没有体现出来。

下面是我做的代码笔记：

以上。

\---------------------   
作者：这梦想不休不止   
来源：CSDN   
原文：https://blog.csdn.net/qq\_36616268/article/details/84800719   
版权声明：本文为博主原创文章，转载请附上博文链接！

[https_bigquant.com_community_t_topic_121098]: https://bigquant.com/community/t/topic/121098
[Long Text Generation via Adversarial Training with Leaked Information 1]: http://xueshu.baidu.com/s?wd=paperuri%3A%2835562a57d9430028f146c68fde52dd41%29&filter=sc_long_sign&tn=SE_xueshusource_2kduw22v&sc_vurl=http%3A%2F%2Farxiv.org%2Fpdf%2F1709.08624&ie=utf-8&sc_us=1877904473541296141
[https_github.com_CR-Gjx_LeakGAN 2]: https://github.com/CR-Gjx/LeakGAN
[57fcc5dd2a32b53327873a0697b47fecd623a18e.jpg]: https://community.bigquant.com/community/uploads/default/original/3X/5/7/57fcc5dd2a32b53327873a0697b47fecd623a18e.jpg
[s_t_left_ x_1_..._x_i_..._x_t_ _right]: /images/20220121/41402ba3be46464aac1fbe8be4d978aa.png%3D%5Cleft%28+x_%7B1%7D%2C...%2Cx_%7Bi%7D%2C...%2Cx_%7Bt%7D+%5Cright%29
[G_theta]: /images/20220121/ca305a07fea74e999506b4f52b3504df.png
[G_theta_cdot_s_t]: /images/20220121/ca305a07fea74e999506b4f52b3504df.png%28%5Ccdot%7Cs_%7Bt%7D%29
[s_t]: /images/20220121/41402ba3be46464aac1fbe8be4d978aa.png
[x_t_1]: /images/20220121/05e23056fc414b1a92a3b3515f48c6b7.png
[D_phi]: /images/20220121/3f77ec48d4f74001a9db6b8a912c17fe.png
[D_phi_s_T]: /images/20220121/3f77ec48d4f74001a9db6b8a912c17fe.png%28s_%7BT%7D%29
[f_t]: https://www.zhihu.com/equation?tex=f_%7Bt%7D
[F_cdot_phi_f]: https://www.zhihu.com/equation?tex=F%28%5Ccdot%3B%5Cphi_%7Bf%7D%29
[phi_l]: /images/20220121/5be6cd29b2694864a94ea4b5684954c5.png
[3787dee9c044a776b2747b351625419d33647a3f.jpg]: https://community.bigquant.com/community/uploads/default/original/3X/3/7/3787dee9c044a776b2747b351625419d33647a3f.jpg
[phi_phi_f_phi_l]: https://www.zhihu.com/equation?tex=%5Cphi%3D%28%5Cphi_%7Bf%7D%2C%5Cphi_%7Bl%7D%29
[sigmoid_z_1_1_e_-z]: https://www.zhihu.com/equation?tex=sigmoid%28z%29%3D1%2F%281%2Be%5E%7B-z%7D%29
[f_F_s_phi_f]: https://www.zhihu.com/equation?tex=f%3DF%28s%3B%5Cphi_%7Bf%7D%29
[F_S_phi_f_left_ F_left_ s_phi_f_ _right_ _right_s_in S]: /images/20220121/4ffc4b5a45c944eca087d799cf1a451e.png%3D%5Cleft%5C%7B+F%5Cleft%28+s%3B%5Cphi_%7Bf%7D+%5Cright%29+%5Cright%5C%7D_%7Bs%5Cin+S%7D
[D_phi_s]: /images/20220121/3f77ec48d4f74001a9db6b8a912c17fe.png%28s%29
[g_t]: https://www.zhihu.com/equation?tex=g_%7Bt%7D
[F_S_phi_f]: /images/20220121/4ffc4b5a45c944eca087d799cf1a451e.png
[h_0_M]: https://www.zhihu.com/equation?tex=h_%7B0%7D%5E%7BM%7D
[h_0_W]: https://www.zhihu.com/equation?tex=h_%7B0%7D%5E%7BW%7D
[M_cdot_theta_m]: /images/20220121/20e6d55e42224bcba4f3ff651a671fd5.png
[theta_m]: https://www.zhihu.com/equation?tex=%5Ctheta_%7Bm%7D
[h_t_M]: /images/20220121/614c69405384490487ffe0e182d75013.png
[a8db810638da4de07a6f62fb8c2504e7821e1c4f.jpg]: https://community.bigquant.com/community/uploads/default/original/3X/a/8/a8db810638da4de07a6f62fb8c2504e7821e1c4f.jpg
[psi]: https://www.zhihu.com/equation?tex=%5Cpsi
[w_psi]: https://www.zhihu.com/equation?tex=w_%7B%5Cpsi%7D
[w_t]: /images/20220121/d7bd867f117f4c6c95360c865701c80d.png
[683db69431d8acbd42c6878fe466612cfb7cf2ea.jpg]: https://community.bigquant.com/community/uploads/default/original/3X/6/8/683db69431d8acbd42c6878fe466612cfb7cf2ea.jpg
[x_t]: /images/20220121/d8404c34f7fe47cc9e39ea4a803ec652.png
[O_t]: https://www.zhihu.com/equation?tex=O_%7Bt%7D
[W_cdot_theta_w]: /images/20220121/d09c31a80d7e4129a1da0c81b6080439.png
[h_t_w]: https://www.zhihu.com/equation?tex=h_%7Bt%7D%5E%7Bw%7D
[left_ V _right_times k]: https://www.zhihu.com/equation?tex=%5Cleft%7C+V+%5Cright%7C%5Ctimes+k
[O_t_cdot w_t]: https://www.zhihu.com/equation?tex=O_%7Bt%7D%5Ccdot+w_%7Bt%7D
[acbd88925deec004647c7181e8e185765720716d.jpg]: https://community.bigquant.com/community/uploads/default/original/3X/a/c/acbd88925deec004647c7181e8e185765720716d.jpg
[Q_F_s_t_g_t_Q_F_s_t_g_t_Q_f_t_g_t_E_r_t]: https://www.zhihu.com/equation?tex=Q_%7BF%7D%28s_%7Bt%7D%2Cg_%7Bt%7D%29%3DQ%28F%28s_%7Bt%7D%29%2Cg_%7Bt%7D%29%3DQ%28f_%7Bt%7D%2Cg_%7Bt%7D%29%3DE%5Br_%7Bt%7D%5D
[d_cos]: https://www.zhihu.com/equation?tex=d_%7Bcos%7D
[f_t_c_-f_t]: https://www.zhihu.com/equation?tex=f_%7Bt%2Bc%7D-f_%7Bt%7D
[g_t_theta_m]: /images/20220121/c3ae48e12a98490baa28c94554d000fa.png
[75e48231afd24113bd6afa579424846abc062162.jpg]: https://community.bigquant.com/community/uploads/default/original/3X/7/5/75e48231afd24113bd6afa579424846abc062162.jpg
[s_t-1]: https://www.zhihu.com/equation?tex=s_%7Bt-1%7D
[33ac0c603408b766131b91129d843a0df6bfa4f6.jpg]: https://community.bigquant.com/community/uploads/default/original/3X/3/3/33ac0c603408b766131b91129d843a0df6bfa4f6.jpg
[tilde_f_t_f_tilde_s_t]: https://www.zhihu.com/equation?tex=%5Ctilde%7Bf%7D_%7Bt%7D%3Df%28%5Ctilde%7Bs%7D_%7Bt%7D%29
[tilde_s_t]: https://www.zhihu.com/equation?tex=%5Ctilde%7Bs%7D_%7Bt%7D
[tilde_s_t_c]: /images/20220121/c3bb58beafad43159ffca8826915962d.png
[b451c8665507a94886066ea14f4a98a279a21728.jpg]: https://community.bigquant.com/community/uploads/default/original/3X/b/4/b451c8665507a94886066ea14f4a98a279a21728.jpg
[e74f62cbff6d0a27b13f885e38096e02080914da.jpg]: https://community.bigquant.com/community/uploads/default/original/3X/e/7/e74f62cbff6d0a27b13f885e38096e02080914da.jpg
[2076d027fa271a008c6a6d76ff51ca72cb5af845.jpg]: https://community.bigquant.com/community/uploads/default/original/3X/2/0/2076d027fa271a008c6a6d76ff51ca72cb5af845.jpg
[d479796b51ecd6da405451753361ab1beaac0cc7.jpg]: https://community.bigquant.com/community/uploads/default/original/3X/d/4/d479796b51ecd6da405451753361ab1beaac0cc7.jpg
[https_blog.csdn.net_qq_36616268_article_details_84800719]: https://blog.csdn.net/qq_36616268/article/details/84800719
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NjE2MjY4_size_16_color_FFFFFF_t_70]: /images/20220121/01dfc4ab94bc451fb72b77c8c6d1fad4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NjE2MjY4_size_16_color_FFFFFF_t_70 1]: /images/20220121/70c10459c880414eac2281cef1cf56ea.png