机器学习和数据挖掘（9）：线性模型

阳光穿透心脏的1/2处 2022-06-10 02:59 242阅读 0赞

# 线性模型 #

## 非线性变换的代价 ##

### 非线性变换回顾 ###

在之前的文章中我们说过了非线性变换，我们有一个输入x=(x0,…,xd)，通过一个Φ变化，我们将之投影到一个新的平面上去，得到z=(z0,……,zd~)。例如，z=(1,x1,x2,x1x2,x21,x22)。

变化函数为

z=Φ(x)

最终的近似函数在X所表示的空间，则变成了

sign(w~TΦ(x))ORw~TΦ(x)

### 非线性变换对泛化的影响 ###

x=(x0,…,xd)→Φ→z=(z0,……,zd~)

对于两式而言，我们分别得到了d\+1和d~\+1个参数（同时也表示着两个输入的参数自由度），显然后者会比前者大不少，那么根据VC分析，则可以知道:

dvc=d\+1d~vc=d~\+1

同时我们也可以得到两个权重向量w和w~，显然后者也比前者长不少。

如果根据上述的变化可以知道的是，尽管我们从理论上可以处理维度比较大的数据，但是根据VC分析，在经过非线性变换之后，很可能我们没有能力去让其泛化。

实际上，我们如果能够精确地对z里的数据进行组合，则必然会达到VC维分析的上限。但是实际上有些点集是无法进行自由组合的，因为它们是从左侧的同一个点转化而来的。所以准确的VC分析是：

dvc=d\+1d~vc≤d~\+1

#### 样例1 ####

![图1][1]

图1中基本可以进行线性分类了，除了个别的几个点，当然也有人说可以将之忽略，这样就可以不用使用非线性变换了。这样做的结果就是需要接受Ein>0的误差。

如果我们坚持Ein=0，那么我们就需要将之转化到了更加高维的空间。我们需要用4维的空间才能够合理地分类，如下图所示：

![图3][3]

非常明显，这样的泛化结果将是非常糟糕的。

这个例子告诉我们，如果我们不想要设计一个非常复杂的假设集，我们就必须接受由此带来的微小训练误差。

#### 样例2 ####

![图2][2]

这是一个真正的无法线性分类的例子。

我们将之转化为z=(1,x1,x2,x1x2,x21,x22)，使用一个一般二次曲面。

一般来说，如果我们只考虑x，则我们只需要考虑前三个元素，则付出三个元素的代价，则更容易解决问题。如果我们考虑全部元素，则需要付出六个元素的代价。基本上我们认为，想要达到同等的性能水平，至少需要使用二倍数量的样本。

> 那我们使用一个小小的技巧，我们将之转化为  
> 
> 
> z=(1,x21,x22)
> 
>   
> 因为我们只需要  x21 表示一个方向，  x22 表示一个方向，其他元素在整个过程之中并没有发挥作用。  
> 让我们再使用一个小小的技巧，我们将之简化为  
> 
> 
> z=(1,x21\+x22)
> 
>   
> 最终我们可以将之简化为  
> 
> 
> z=(x21\+x22−0.6)
> 
>   
> 这样我们就得到了一个VC维只有1的变化方式，同时这样也可以得到非常优秀的泛化。
> 
> 我们明确地知道上面的分析是有一定问题的。对于一个未知的学习函数而言，我们需要将整个参数都进行训练，才能知道，哪一些是需要的，哪一些是不需要的。
> 
> 如果在选择模型之前，先看到了数据，会对最终的Eout起到非常坏的作用。  
> 因为实际上我们已经收到了数据的影响，用于描述泛化的量将会在这个过程中变得非常模糊。这被称为data snooping。
> 
> ## 逻辑回归 ##
> 
> s=∑i=0dxi
> 
> ![图4][4]
> 
> 对于不同的线性模型，相当于处理的时候方式不同
> 
> 感知器就是通过阈值来进行正负判断，而线性回归则是保持原有的输入，逻辑回归则是介于两者之间的一种方式。
> 
> **感觉讲逻辑回归的东西非常多，就不写了。**

[1]: /images/20220610/e2ddf8f6558044d68403663a05da22ea.png
[3]: /images/20220610/8a196d9473d14bbeabee4656756f225c.png
[2]: /images/20220610/a54f5a71682d4951a3b55bc3ae93827b.png
[4]: /images/20220610/dc56b136f33a4256892dcf8ea240b746.png