生成模型和判别模型的区别

悠悠 2022-04-11 12:19 271阅读 0赞

### 先上结论 ###

**公式上看**

生成模型： 学习时先得到 P(x,y)，继而得到 P(y|x)。预测时应用最大后验概率法（MAP）得到预测类别 y。  
判别模型： 直接学习得到P(y|x)，利用MAP得到 y。或者直接学得一个映射函数 y=f(x)。

**直观上看**

生成模型： 关注数据是**如何生成**的  
判别模型： 关注类别之间的**差别**

--------------------

# 先直观理解 #

我们先从直观上来理解一下：

*  **生成模型：** *源头导向*。尝试去找到底这个数据是怎么产生的，然后再对一个信号进行分类。基于你学习到的生成假设，判断哪个类别最有可能产生这个信号，这个信号就属于那个类别。
 *  **判别模型：** *差别导向*。并不关心数据是怎么生成的，它只关心信号之间的差别，然后用差别来简单对给定的一个信号进行分类。

## 举个例子 ##

借用一下[这位老兄][Link 1]的例子：

假如你的任务是识别一个语音属于哪种语言。例如对面一个人走过来，和你说了一句话，你需要识别出她说的到底是汉语、英语还是法语等。那么你可以有两种方法达到这个目的：

1.  学习每一种语言，你花了大量精力把汉语、英语和法语等都学会了，我指的学会是你知道什么样的语音对应什么样的语言。然后再有人过来对你说，你就可以知道他说的是什么语音.
2.  不去学习每一种语言，你只学习这些语言之间的差别，然后再判断（分类）。意思是指我学会了汉语和英语等语言的发音是有差别的，我学会这种差别就好了。

那么第一种方法就是**生成方法**，第二种方法是**判别方法**。

--------------------

# 再深入理解 #

监督学习的任务：学习一个模型，应用这一模型，对给定的输入预测相应的输出。  
这一模型的一般形式为一个决策函数或者条件概率分布：  
  
1. **决策函数**

y=f(x)

直接得到 输入 x 到 输出 y（某个类别）的映射函数。（例如神经网络和SVM等属于这种）  
  
2. **条件概率分布**

P(y|x)

预测时用 最大后验概率**(MAP)** y=argmaxyiP(yi|x)的方法决定输出类别 y。（例如贝叶斯分类器就属于这种）  
  
  
监督学习方法又可以分为**生成方法(generative approach)**和**判别方法(discriminative approach)**。所学到的模型分别为**生成模型(generative model)**和**判别模型(discriminative model)**。

## 生成模型 ##

先由数据学习联合概率分布P(x,y)和先验概率分布P(x)，然后求出条件概率分布P(y|x)=P(x,y)/P(x)作为预测的模型，即得到生成模型:

P(y|x)=P(x,y)/P(x)

生成方法强调的是：通过得到 P(x,y)，继而得到 P(y|x)。

这样的方法之所以称为生成方法，是因为模型表示了给定输入 x产生输出 y的生成关系。这种方法一般建立在统计学和Bayes理论的基础之上。

特点

*  从统计的角度表示数据的分布情况，能够反映同类数据本身的**相似度**，但它不关心到底划分各类的那个分类边界在哪。
 *  生成方法能还原出联合概率分布，而判别方法不能
 *  生成方法的学习收敛速度更快、即当样本容量增加的时候，学到的模型可以更快地收敛于真实模型
 *  当存在隐变量时，仍可以用生成方法学习，此时判别方法不能用

典型的生成模型

*  朴素贝叶斯分类器
 *  马尔科夫模型
 *  高斯混合模型

## 判别模型 ##

判别方法由数据**直接**学习决策函数f(x)或者条件概率分布P(y|x)作为预测的。判别模型利用正负例和分类标签，关注在判别模型的边缘分布。  
判别方法强调的是：对给定的输入x，应该预测什么样的输出 y。

特点

*  判别方法寻找不同类别之间的最优分类面，反映的是**异类数据之间的差异**
 *  判别方法利用了训练数据的类别标识信息，直接学习的是条件概率P(Y|X)或者决策函数f(X)，直接面对预测，往往**学习的准确率更高**；
 *  由于直接学习条件概率P(Y|X)或者决策函数f(X)，可以对数据进行各种程度上的抽象、定义特征并使用特征，因此可以**简化学习问题**。
 *  **缺点**是不能反映训练数据本身的特性

典型的判别模型

*  k近邻法
 *  感知机
 *  决策树
 *  logistic回归
 *  最大熵模型
 *  SVM
 *  boosting方法
 *  条件随机场

这里推荐一篇Andrew Ng讨论判别模型和生成模型的paper：  
[On Dicriminative vs. Generative classfier: A comparison of logistic regression and naive Bayes][On Dicriminative vs. Generative classfier_ A comparison of logistic regression and naive Bayes]

--------------------

References：  
《统计学习方法》 李航  
[生成模型与判别模型][Link 1]

[Link 1]: https://blog.csdn.net/zouxy09/article/details/8195017
[On Dicriminative vs. Generative classfier_ A comparison of logistic regression and naive Bayes]: http://robotics.stanford.edu/~ang/papers/nips01-discriminativegenerative.pdf