提示与不变性

灰太狼 2023-06-03 05:54 9阅读 0赞

## 提示与不变性 ##

> 提示是在你看到数据之前就知道的关于目标函数的信息
> 
> 例如信用审核中,工资是和信用额度呈正比
> 
> 又例如视觉处理中旋转不改变目标函数的输出

有以下数据(红色代表-1,蓝色代表+1)

![avatar][]

你使用如下两个假设集去拟合数据

\$H\_+=\\\{h|h(x)=sign(wx+w\_0);w\\ge0\\\}\$

\$H\_-=\\\{h|h(x)=sign(wx+w\_0);w<0\\\}\$

无论你怎么拟合,\$H\_+\$很轻松就可以使得\$E\_\{in\}\\approx0\$,而\$H\_-\$最多使得\$E\_\{in\}\\approx\\frac\{1\}\{2\}\$

假如你看到数据之前知道数据的某些信息,就可以收缩假设集(就像这里使用\$H\_+\$而不关心\$H\_-\$),这样减少假设集大小从而提高泛化能力

## 提示类型 ##

<table> 
 <thead> 
  <tr> 
   <th>提示类型</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>对称与非对称性</td> 
   <td><span>$f(\mathtt{x})=f(-\mathtt{x}) orf(\mathtt{x})=-f(-\mathtt{x})$</span></td> 
  </tr> 
  <tr> 
   <td>旋转不变性</td> 
   <td><span>$f(\mathtt{x})$</span>依赖于$</td> 
  </tr> 
  <tr> 
   <td>广义不变性(平移,旋转,缩放)</td> 
   <td><span>$f(\mathtt{x})=f(\Phi(\mathtt{x}))$</span></td> 
  </tr> 
  <tr> 
   <td>单调性</td> 
   <td><span>$f(\mathtt{x}+\Delta{\mathtt{x}})&gt;f(\mathtt{x})$</span></td> 
  </tr> 
  <tr> 
   <td>凸性</td> 
   <td><span>$f(\eta{\mathtt{x}}+(1-\eta)\mathtt{x}')\le\eta{f(\mathtt{x})}+(1-\eta)f(\mathtt{x}')$</span></td> 
  </tr> 
 </tbody> 
</table>

## 严格提示 ##

> 严格提示就是剔除所有不满足提示的假设式
> 
> 假如你提前知道目标函数是单调递增的,然后你使用假设集\$H=\\\{h^\*,h\_1,h\_2\\\}\$去拟合红色的目标函数,由严格提示来看\$h^\*\$应该剔除(非单调递增)

![avatar][]

从图中来看\$h^\*\$是拟合目标函数最好的假设式,但由于稍稍不满足提示被剔除,而其他假设式又不能很好的拟合目标函数

**提示是目标函数的已知特性,丢弃不满足提示的假设式不会降低你匹配目标的能力,但若是目标函数不在假设式中那情况就不一定了**

## 虚拟例子 ##

> 严格执行提示就像一个硬约束,太过偏执会产生不良效果.适当的允许违反提示才能够更好地拟合目标函数,通用的方法是构造虚拟例子(生成的虚拟对\$\\mathtt\{(-v\_m,v\_m)\},m=1,...m\$)来产生一个误差函数,当提示满足时这个误差为0,当不满足提示时这个误差衡量偏离提示的程度(虚拟例子可以根据真实样本构造)
> 
> 这样我们就可以只关注这些增强的数据(真实例子和虚拟例子),而不需要显示的处理提示,学习算法,通过尝试匹配所有的数据,来权衡满足提示(匹配虚拟例子)和拟合数据(匹配真实例子).相反若是显示限制模型满足提示就无法做到权衡,你只是在满足提示的前提下尽可能拟合数据,如果稍稍违反提示就可以得到更好的拟合,抱歉,你做不到

对称提示 \$f(x)=f(-x)\$

提示误差 \$E\_\{hint\}=\\frac\{1\}\{M\}\\sum\_\{m=1\}^M(\\mathtt\{h(v\_m)-h(-v\_m))^2\}\$

增强误差 \$E\_\{aug\}(h)=E\_\{in\}(h)+\\lambda E\_\{hint\}(h)\$

这样我们就完成了对提示的软约束,这与正则化很像

\$\\lambda\$描述了对约束的强度,\$\\lambda\$越大表示越强调提示,有可能导致欠拟合;\$\\lambda\$越小表示越忽略提示,导致提示没有起到作用.可以使用验证集来确认这个参数

单调性提示误差 \$E\_\{hint\}=\\frac\{1\}\{N\}\\sum\_\{n=1\}^N(h(\\mathtt\{x\_n\})-h(\\mathtt\{x\_n\}'))^2\[\[h(\\mathtt\{x\_n\}')<h(\\mathtt\{x\_n\})\]\]\$

## 提示与正则化 ##

正则化 \$E\_\{aug\}=E\_\{in\}+\\frac\{\\lambda\}\{N\}\\Omega(h)\$

提示 \$E\_\{aug\}=E\_\{in\}+E\_\{hint\}\$

正则化是通过降低假设式复杂度来减小噪声的影响(随机噪音),以增加适量的偏差为代价减少方差

提示是我们选择一个较小的假设集(包含目标),减少方差而不要付出偏差的代价

\$E\_\{aug\}=E\_\{in\}+\\frac\{\\lambda\}\{N\}\\Omega(h)+E\_\{hint\}\$