Logistic和Linear Regression

拼搏现实的明天。 2021-12-24 02:55 278阅读 0赞

# Logistic Regression #

## Logistic Regression和Linear Regression ##

<table> 
 <thead> 
  <tr> 
   <th>Logistic Regression</th> 
   <th>Linear Regression</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>$ f_{w,b}(x) = \sigma (w*x+ b)=\sigma (\sum_i w_ix_i + b), f输出0或1$</td> 
   <td>$ f_{w,b}(x) = \sum_i w_ix_i + b，f输出R$</td> 
  </tr> 
  <tr> 
   <td><span>$L(f) = \sum_n C(f(x^n), \hat{y}^n)，\hat{y}^n是0或1$</span></td> 
   <td><span>$L(f) = \frac{1}{2}\sum_n (f(x^n)-\hat{y}^n)^2，\hat{y}^n是真实值$</span></td> 
  </tr> 
  <tr> 
   <td><span>$w_i \leftarrow w_i -\eta \sum_n-(\hat{y}^n-f_{w,b}(x^n))x_i^n$</span></td> 
   <td><span>$w_i \leftarrow w_i -\eta \sum_n-(\hat{y}^n-f_{w,b}(x^n))x_i^n$</span></td> 
  </tr> 
 </tbody> 
</table>

## Logistic Regression推导 ##

\\\[ 如果P\_\{w,b\}(C\_1|x) \\leq 0.5,输出C\_2.否则输出C\_1\\\\ z=w\\times x+b, \\quad P\_\{w,b\}(C\_1|x) = \\sigma(z),\\quad \\sigma(z) = \\frac\{1\}\{1+e^\{-z\}\}\\\\ f\_\{w,b\}(x) = P\_\{w,b\}(C\_1|x) \\\]

<table> 
 <thead> 
  <tr> 
   <th><span>$Training$</span></th> 
   <th><span>$x^1$</span></th> 
   <th><span>$x^2$</span></th> 
   <th><span>$x^3$</span></th> 
   <th><span>$...$</span></th> 
   <th><span>$x^N$</span></th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><span>$Data$</span></td> 
   <td><span>$C_1$</span></td> 
   <td><span>$C_2$</span></td> 
   <td><span>$C_3$</span></td> 
   <td><span>$...$</span></td> 
   <td><span>$C_N$</span></td> 
  </tr> 
 </tbody> 
</table>

对于上面的分类，有代价函数：  
\\\[ p(x=1)=\\hat\{y\}^n, \\quad p(x=0)=1-\\hat\{y\}^n\\\\ L(w,b)=f\_\{w,b\}(x^1)f\_\{w,b\}(x^2)(1-f\_\{w,b\}(x^3))...f\_\{w,b\}(x^N)\\\\ 取对数有： lnL(w,b)=lnf\_\{w,b\}(x^1)+lnf\_\{w,b\}(x^2)+ln(1-f\_\{w,b\}(x^3))+...\\\\ =\\sum\_n-\[\\hat\{y\}^nlnf\_\{w,b\}(x^n)+ (1-\\hat\{y\}^n)ln(1-f\_\{w,b\}(x^n)) \]\\\\ C(f(x^n), \\hat\{y\}^n)=-\[\\hat\{y\}^nlnf\_\{w,b\}(x^n)+ (1-\\hat\{y\}^n)ln(1-f\_\{w,b\}(x^n)) \]\\\\ L(f) = \\sum\_n C(f(x^n), \\hat\{y\}^n) \\\]  
更新：  
\\\[ \\frac\{\\partial~lnL(w,b)\}\{\\partial w\_i\} = \\frac\{\\partial ~lnL(w,b)\}\{\\partial z\}\\frac\{z\}\{\\partial~w\_i\}\\\\ =\\sum\_n-(\\hat\{y\}^n-f\_\{w,b\}(x^n))x\_i^n \\\]

## Logistic Regression如果用平方代价函数 ##

\\\[ f\_\{w,b\}(x) = \\sigma (\\sum\_i w\_ix\_i + b)\\\\ L(f) = \\frac\{1\}\{2\}\\sum\_n (f\_\{w,b\}(x^n)-\\hat\{y\}^n)^2\\\\ 求偏导，有：\\\\ \\frac\{\\partial L(f)\}\{\\partial w\_i\}=\\frac\{\\partial(f\_\{w,b\}(x)-\\hat\{y\})^2\}\{\\partial w\_i\}=2(f\_\{w,b\}-\\hat\{y\})f\_\{w,b\}(x)(1-f\_\{w,b\}(x)) \\\]

## Logistic Resgression的局限 ##

*  无法解决异或问题
 *  针对异或问题，可以通过叠加logistic regression来解决，这样子就成了neural network

## 生成模型和判别模型 ##

### Discriminative ###

##### 原理 #####

判别式模型是直接对条件概率 \$p(y|x;\\theta)\$ 建模。

##### 常见的判别模型 #####

常见的判别式模型有：线性回归模型、线性判别分析、支持向量机SVM、神经网络等。

##### 优点 #####

（1）分类边界更灵活，比使用纯概率方法或生产模型得到的更高级；  
（2）能清晰的分辨出多类或某一类与其他类之间的差异特征；  
（3）在聚类、视角变化、部分遮挡、尺度改变等方面效果较好；  
（4）适用于较多类别的识别；  
（5）判别模型的性能比生成模型要简单，比较容易学习。

##### 缺点 #####

（1）不能反映训练数据本身的特性，即能力有限，可以告诉你的是1还是2，但没有办法把整个场景描述出来；  
（2）缺少生成模型的优点，即先验结构的不确定性；  
（3）黑盒操作，即变量间的关系不清楚，不可视。