kaldi006 -- 构图

清疚 2022-06-14 05:28 251阅读 0赞

**解码图构建方法（实验部分）**

这里我们一步一步地解释图的构建方法，以及与之相关的某些数据准备阶段。

这种方法的大部分细节不会硬编码到我们的工具中;  我们正在解释它目前是如何做的。 如果这个部分很混乱，那么最好的补救办法可能就是阅读Mohri等人的“Speech Recognition with Weighted Finite-State Transducers”。 要注意：这张纸是相当长的，阅读它至少需要几个小时，对于那些尚不熟悉FST的人。 另一个好的资源是OpenFst网站，它将提供更多相关信息比如符号表。

**准备初始符号表**  
  
我们需要准备OpenFst符号表word.txt和phones.txt。 这些将整数id分配给系统中的所有单词和phone。 请注意，OpenFst对epsilon的保留符号为零。 示例WSJ任的符号表是：

\#\# head words.txt

<eps> 0

!SIL 1

<s> 2

</s> 3

<SPOKEN\_NOISE> 4

<UNK> 5

<NOISE> 6

!EXCLAMATION-POINT 7

"CLOSE-QUOTE 8

\#\# tail -2 words.txt

\}RIGHT-BRACE 123683

\#0 123684

\#\# head data/phones.txt

<eps> 0

SIL 1

SPN 2

NSN 3

AA 4

AA\_B 5

word.txt文件包含单个消歧符号“＃0”（用于G.fst输入上的epsilon）。 这是最后编号的单词。 如果您的词典包含单词“＃0”，请小心。 phones.txt文件不包含消歧符号，但在创建L.fst之后，我们将创建一个文件phones\_disambig.txt，该文件具有消歧符号（这对调试很有用）。

**准备词典L**  
  
首先，我们创建一个文本格式的词典，最初没有消歧符号。我们的C ++工具永远不会与此交互，它只会被创建词典FST的脚本使用。 我们的WSJ词汇的一小部分是：

\#\# head data/lexicon.txt

!SIL SIL

<s>

</s>

<SPOKEN\_NOISE> SPN

<UNK> SPN

<NOISE> NSN

!EXCLAMATION-POINT EH2\_B K S K L AH0 M EY1 SH AH0 N P OY2 N T\_E

"CLOSE-QUOTE K\_B L OW1 Z K W OW1 T\_E

phone上的开始，结束和重音标记（例如T\_E或AH0）是我们的WSJ方法特有的，就我们的工具包而言，它们被视为不同的phone（然而，对于这个设置我们做特殊处理;在树的构建过程中读取roots文件）。

请注意，我们允许有空语音表示的单词。  该词典将用于在训练中创建L.fst（不含消歧符号）。 我们还创建一个消歧符号的词典，用于解码图创建。 此文件的摘录在这里：

\# \[from data/lexicon\_disambig.txt\]

!SIL SIL

<s> \#1

</s> \#2

<SPOKEN\_NOISE> SPN \#3

<UNK> SPN \#4

<NOISE> NSN

...

\{BRACE B\_B R EY1 S\_E \#4

\{LEFT-BRACE L\_B EH1 F T B R EY1 S\_E \#4

此文件由脚本创建; 该脚本输出它不得不添加的消歧符号，并用于创建符号表phones\_disambig.txt。 这与phones.txt是一样的，但它也包含消歧符号＃0，＃1，＃2等的整数id（＃0是来自G.fst的特殊消歧符号，但将被“passed through”L.fst通过自循环）。 文件phone\_disambig.txt中间的一部分是：

ZH\_E 338

ZH\_S 339

\#0 340

\#1 341

\#2 342

\#3 343

数字是如此之大，因为在这个（WSJ）语聊中，我们向phone添加了重音和位置信息。 注意，用于空字（即<s>和</s>）的消歧符号必须与用于正常词的那些不同，因此本例中的“正常”消歧符号从＃3开始。  
  
将没有消歧符号的词典转换为FST的命令是：

scripts/make\_lexicon\_fst.pl data/lexicon.txt 0.5 SIL | \\

fstcompile --isymbols=data/phones.txt --osymbols=data/words.txt \\

\--keep\_isymbols=false --keep\_osymbols=false | \\

fstarcsort --sort\_type=olabel > data/L.fst

这里，脚本make\_lexicon\_fst.pl创建FST的文本表示。 0.5是静音概率（即在句子开始处，每个单词之后，我们以概率0.5输出静音;分配给无静音的概率质量为1.0-0.5 = 0.5，本示例中其余的命令涉及 将FST转换为编译格式; fstarcsort是必要的，因为我们稍后将作compose。

词典的结构大致如人们期望的那样。 有一个状态（“循环状态”）是终止状态。 有一个起始状态有两个过渡到循环状态：一个有静默和一个没有。  从循环状态，对应于每个单词都有一个转换，该字是转换时的输出符号; 输入符号是该单词的第一个phone。 对于组合的效率和最小化的有效性，重要的是输出符号应尽可能早（即开始时不是单词的结尾）。  在每个单词的末尾，为了处理可选的静音，对应于最后一个phone的转换有两种形式：一种到循环状态，一种转换为“静默状态”，它们转换到循环状态。 我们不要在静音中放置可选的静音，我们将它定义为只有一个phone是静音phone的话。

用消歧符号创建词典只是稍微复杂一点。  问题是我们必须将自循环添加到词典中，以便可以通过词典传递来自G.fst的消歧符号＃0。 我们使用程序fstaddselfloops（c.f.添加和删除消歧义符号）来执行此操作，尽管我们可以在脚本make\_lexicon\_fst.pl中轻松完成“手动”操作。

phone\_disambig\_symbol=\`grep \\\#0 data/phones\_disambig.txt | awk '\{print $2\}'\`

word\_disambig\_symbol=\`grep \\\#0 data/words.txt | awk '\{print $2\}'\`

scripts/make\_lexicon\_fst.pl data/lexicon\_disambig.txt 0.5 SIL | \\

fstcompile --isymbols=data/phones\_disambig.txt --osymbols=data/words.txt \\

\--keep\_isymbols=false --keep\_osymbols=false | \\

fstaddselfloops "echo $phone\_disambig\_symbol |" "echo $word\_disambig\_symbol |" | \\

fstarcsort --sort\_type=olabel > data/L\_disambig.fst

程序fstaddselfloops不是原始的OpenFst命令行工具之一，它是我们自己的（我们有一些这样的程序）之一。

**准备语言模型G**  
  
语言模型G大部分是一个接受者（即每个圆弧上的输入和输出符号相同），其中以字为其符号。 除了是消歧符号＃0，它只出现在输入端。 假设输入是Arpa文件，我们使用Kaldi程序arpa2fst将其转换为FST。 程序arpa2fst输出带嵌入符号的FST。 在Kaldi，我们通常使用没有嵌入符号的FST（即我们使用单独的符号表）。 只需运行arpa2fst，我们必须采取的步骤如下：  
我们必须从FST中删除嵌入的符号（并依赖于磁盘上的符号表）。  
我们必须确保在语言模型中没有超出词汇量的单词  
我们必须删除起始和结尾符号的“非法”序列，例如 <s>后跟</ s>，因为这些导致L o G不可确定。  
我们必须用特殊的消歧符号＃0替换输入端的epsilons。

实际脚本的略简化版本如下所示：

gunzip -c data\_prep/lm.arpa.gz | \\

arpa2fst --disambig-symbol=\#0 \\

\--read-symbol-table=data/words.txt - data/G.fst

最后一个命令（fstisstochastic）是一个诊断步骤（请参阅Preserving stochasticity and testing it）。 在一个典型的例子中，它打印出数字：

9.14233e-05 -0.259833

第一个数字很小，所以它证实没有状态的弧的概率加上最终状态显着小于1。 第二个数字是重要的，这意味着有些状态具有“太多”的概率（FST中权重的数值通常可以解释为负对数概率）。 对于具有回退的语言模型的FST表示，有一些具有“太多”概率的状态是正常的。 在后续的构图步骤中，我们将验证这一非随机性并没有比开始时更糟糕。

所得到的FST G.fst当然只用于测试时间。 在训练时间内，我们使用从训练单词序列生成的线性FST，但这是在Kaldi程序中完成的，而不是在脚本级别。

**准备LG**

当用G组合L时，我们概括地遵循一个相当标准的方法，即我们计算min（det（L o G））。 命令行如下：

fsttablecompose data/L\_disambig.fst data/G.fst | \\

fstdeterminizestar --use-log=true | \\

fstminimizeencoded | fstpushspecial | \\

fstarcsort --sort-type=ilabel > somedir/LG.fst

这里OpenFst的算法有一些小的区别。 我们使用我们的命令行工具“fsttablecompose”实现的更有效的组合算法（参见Composition）。 我们的确定是一种也可以通过命令行程序fstdeterminizestar实现的算法，同时去空边。 选项\-use-log = true要求程序首先将FST映射到log半环; 这保留随机性（在log半环）; Preserving stochasticity and testing it。

我们通过程序“fstminimizeencoded”进行最小化。 这与OpenFst最小化算法的版本大体相同，适用于加权接收器; 唯一相关的变化是避免pushing weights，从而保持随机性（详见Minimization）。

程序“fstpushspecial”类似于OpenFst的“fstpush”程序，但如果权重不等于1，则可以确保所有状态“总计”为相同的值（可能与一不同），而不是尝试推送 “额外”权重到图表的开头或结尾。 这具有永远不会失败的优点（“Fstpush”可以失败或循环很长时间，如果FST“总和为”无穷大“）; 它也快得多。 有关更详细的文档，请参阅push-special.cc。

“fstarcsort”阶段对弧进行排序以有助于稍后组合操作更快速。

**准备CLG**

为了获得输入为上下文相关phone的转换器，我们需要准备一个叫做CLG的FST，它与C o L o G相同，其中L和G是词典和语言模型，C代表语音上下文。 对于三音系统，C的输入符号将为a / b / c（即三元phone），输出符号将是单个phone（例如a或b或c）。 有关语音上下文窗口的更多信息，请参阅Phonetic context windows，以及我们如何产生为不同的上下文大小。 首先，我们将描述如何创建上下文FST C，如果我们自己做它并且正常组合（为了效率和可扩展性的原因，我们的脚本实际上不是这样工作）。

**制作上下文转换器**

在本节中，我们将解释如何将C作为独立的FST获得。

C的基本结构是它对所有可能的大小为N-1的phone窗口（c.f.语音上下文窗口，三音素中N = 3）的状态。 第一个状态，意思是开始的话语，只会对应于N-1个子句。 每个状态都有每个phone的转换（现在让我们忘记自循环）。 作为通用示例，状态a / b在输出上具有c的转换，并且输入上的a / b / c转换到状态b / c。 话语开始和结束时都有特殊情况。

在话语开始时，假设状态为<eps> / <eps>，输出符号为a。 通常，输入符号将是<eps> / <eps> / a。 但这并不代表phone，因为（假设P = 1），中心元素是<eps>，不是phone。 在这种情况下，我们让弧的输入符号为＃\-1，这是我们为此目的引入的特殊符号（我们在这里不使用epsilon作为标准方法，因为当有空字时可能会导致不可确定性）。

话语结束有点复杂。上下文FST在右侧（其输出端）具有在语句结尾处出现的特殊符号$。考虑三元phone的情况。在句子结束后，看到所有符号后，我们需要刷出最后一个三元phone（例如a / b / <eps>，其中<eps>表示未定义的上下文）。这样做的自然方法是在其输入上具有/ b / <eps>的转换，其输出上的<eps>，从状态a / b到最终状态（例如b / <eps>或a特殊最终状态）。但是，这对于组合来说是低效的，因为如果不是话语的结束，我们必须先探索这些转变，才能将它们修剪掉。相反，我们使用$作为终止符号，并确保它在LG的每个路径的末尾出现一次。然后我们用C的输出$替换<eps>。一般来说，$的重复次数等于N-P-1。为了避免麻烦，必须确定要添加多少个后续符号到LG，我们只允许它在话语结束时接受任何数量的这种符号。这通过函数AddSubsequentialLoop（）和命令行程序fstaddsubsequentialloop来实现。

如果我们自己想要C，我们首先需要一个消歧符号清单; 我们还需要找出我们可以用于后续符号的未使用的符号id，如下所示：

grep '\#' data/phones\_disambig.txt | awk '\{print $2\}' > $dir/disambig\_phones.list

subseq\_sym=\`tail -1 data/phones\_disambig.txt | awk '\{print $2+1;\}'

然后，我们可以使用以下命令创建C（但是，关于fstcomposecontext，请参见下文），因为实践中不执行此操作，因为效率低下）。

fstmakecontextfst --read-disambig-syms=$dir/disambig\_phones.list \\

\--write-disambig-syms=$dir/disambig\_ilabels.list data/phones.txt $subseq\_sym \\

$dir/ilabels | fstarcsort --sort\_type=olabel > $dir/C.fst

程序fstmakecontextfst需要phone列表，消歧符号列表和后续符号的标识。 除了C.fst之外，它还会写出解释C.fst左边符号的文件“ilabels”（请参阅The ilabel\_info object）。  与LG的组合可以做到如下：

fstaddsubsequentialloop $subseq\_sym $dir/LG.fst | \\

fsttablecompose $dir/C.fst - > $dir/CLG.fst

为了打印出C.fst和使用相同符号索引“ilabels”的任何内容，我们可以使用以下命令创建一个合适的符号表：

fstmakecontextsyms data/phones.txt $dir/ilabels > $dir/context\_syms.txt

This command knows about the "ilabels" format (The ilabel\_info object). An example random path through the CLG fst (for Resource Management), printed out with this symbol table, is as follows:

该命令知道“ilabels”格式（The ilabel\_info object）。 通过CLG fst（用于资源管理）,示例随机路径与该符号表打印出来，如下所示：

\#\# fstrandgen --select=log\_prob $dir/CLG.fst | \\

fstprint --isymbols=$dir/context\_syms.txt --osymbols=data/words.txt -

0 1 \#-1 <eps>

1 2 <eps>/s/ax SUPPLIES

2 3 s/ax/p <eps>

3 4 ax/p/l <eps>

4 5 p/l/ay <eps>

5 6 l/ay/z <eps>

6 7 ay/z/sil <eps>

7 8 z/sil/<eps> <eps>

**动态组合C**

在正常构图中，我们使用一个程序fstcomposecontext，它动态地创建所需的状态和C的弧，而不浪费地创建它。 命令行是：

fstcomposecontext --read-disambig-syms=$dir/disambig\_phones.list \\

\--write-disambig-syms=$dir/disambig\_ilabels.list \\

$dir/ilabels < $dir/LG.fst >$dir/CLG.fst

If we had different context parameters N and P than the defaults (3 and 1), we would supply extra options to this program. This program writes the file "ilabels" (see ) which interprets the input symbols of CLG.fst. The first few lines of an ilabels file from the recipe are as follows:

相比于默认值（3和1），如果我们有不同的上下文参数N和P，我们将为此程序提供额外的选项。 该程序写入解释CLG.fst的输入符号的文件“ilabels”（请参阅“The ilabel\_info object”）。 Resource Management中的ilabels文件的前几行如下：

65028 \[ \]

\[ 0 \]

\[ -49 \]

\[ -50 \]

\[ -51 \]

\[ 0 1 0 \]

\[ 0 1 1 \]

\[ 0 1 2 \]

...

数字65028是文件中的元素数。 像\[-49\]这样的就是消歧符号; 像\[0 1 2\]这样的行表示声音上下文窗口; 前两个条目是用于epsilon（从未使用）的\[\]，\[0\]是用于在C开头代替epsilon使用打印形式＃\-1的特殊消歧符号，以确保可确定性。

**减少上下文相关输入符号的数量**

在创建CLG.fst之后，有一个可选的构图阶段可以减小其大小。 我们使用从决策树和HMM拓扑信息中得出的程序make-ilabel-transducer，他是上下文相关phone的子集将对应于相同的编译图，因此可以合并（我们选择任何一个子集的元素，并且转换所有上下文窗口到那个窗口）。 这是一个类似于HTK逻辑到物理映射的概念。 命令是：

make-ilabel-transducer --write-disambig-syms=$dir/disambig\_ilabels\_remapped.list \\

$dir/ilabels $tree $model $dir/ilabels.remapped > $dir/ilabel\_map.fst

这个程序需要树和模型; 它输出一个名为“ilabels.remapped”的新的ilabel\_info对象; 这与原始“ilabels”文件的格式相同，但行数较少。 FST“ilabel\_map.fst”和CLG.fst做组合，并重新映射标签。 做到这一点后，我们确定化和最小化，所以我们可以马上实现任何尺寸的缩减：

fstcompose $dir/ilabel\_map.fst $dir/CLG.fst | \\

fstdeterminizestar --use-log=true | \\

fstminimizeencoded > $dir/CLG2.fst

对于一般的设置，这个阶段实际上并没有减少图的大小（通常为5％到20％的减少），在任何情况下，它只是通过这种机制减少的中间构图阶段的大小。 但是，对于具有更广泛背景的系统，节省可能会变得重要。

**制作H转换器**

在传统的FST制作中中，H转换器是在其输出上具有上下文相关phone，并且在其输入上具有表示声学状态的符号。在我们的例子中，H（或HCLG）的输入上的符号不是声学状态（在我们的术语中是pdf-id），而是我们称之为transition-id的东西（参见Integer identifiers used by TransitionModel）。transition-id是pdf-id加上一些包括phone在内的其他信息进行编码。每个transition-id可以映射到pdf-id。我们创建的H转换器不对自环进行编码。这些稍后由单独的程序添加。 H转换器具有初始和最终状态，并且从该状态到每个条目都有一个转换，但ilabel\_info对象中的第零个（the ilabels file，见上文）。上下文相关phone的转换转到相应HMM的结构（缺少自环），然后返回到开始状态。对于正常拓扑，HMM的这些结构只是三个弧的线性序列。对于每个消歧符号（＃\-1，＃0，＃1，＃2，＃3等），H也在初始状态上具有自循环。

H转换器的脚本部分（我们称之为Ha，因为它在这一点上缺少自循环），是：

make-h-transducer --disambig-syms-out=$dir/disambig\_tstate.list \\

\--transition-scale=1.0 $dir/ilabels.remapped \\

$tree $model > $dir/Ha.fst

有一个可选参数来设置转移因子; 在我们目前的训练脚本中，这个因子是1.0。 这个比例只影响到与自循环概率无关的转换部分，而在正常拓扑（Bakis模型）中它完全没有影响; 请参阅Scaling of transition and acoustic probabilities以获得更多的解释。 除了FST之外，该程序还写入一个消歧符号列表，稍后必须删除。

**制作HCLG**

制作最终图HCLG的第一步是制作缺少自循环的HCLG。 我们当前脚本中的命令如下所示：

fsttablecompose $dir/Ha.fst $dir/CLG2.fst | \\

fstdeterminizestar --use-log=true | \\

fstrmsymbols $dir/disambig\_tstate.list | \\

fstrmepslocal | fstminimizeencoded > $dir/HCLGa.fst

在这里，CLG2.fst是CLG的版本，缩略符号集（“逻辑”三音素，HTK术语）。 我们删除消歧符号和任何easy-to-remove epsilons（请参阅Removing epsilons），在最小化之前; 我们的最小化算法是避免推送符号和权重（从而保留随机性），并接受非确定性输入（见Minimization）。

**向HCLG添加自环**

通过以下命令完成向HCLG添加自环：

add-self-loops --self-loop-scale=0.1 \\

\--reorder=true $model < $dir/HCLGa.fst > $dir/HCLG.fst

有关如何应用0.1 self-loop-scale的说明，请参见Scaling of transition and acoustic probabilities（注意它也影响非自环概率）。有关“重新排序”选项的说明，请参阅Reordering transitions; “重新排序”选项提高了解码速度，但与kaldi解码器不兼容。 add-self-loops程序不仅添加自环;它可能还必须复制状态并添加epsilon转换，以确保以一致的方式添加自环。在重新排序转换中，在Reordering transitions详述这个问题。这是唯一不保存随机性的构图阶段;它不保存它，因为自环的因子不是1，所以程序fstisstochastic应该给所有的G.fst，LG.fst，CLG.fst和HCLGa.fst相同的输出，但不是HCLG.fst 。在自环阶段之后我们不再确定了;这样会失败，因为我们已经删除了消歧符号。无论如何，这很慢，我们认为在这一点上确定和最小化没有什么进一步的。