线性回归、梯度下降（Linear Regression、Gradient Descent）

r囧r小猫 2022-09-25 10:18 228阅读 0赞

转载出处：[http://www.cnblogs.com/BYRans/][http_www.cnblogs.com_BYRans]

# 实例 #

首先举个例子，假设我们有一个二手房交易记录的数据集，已知房屋面积、卧室数量和房屋的交易价格，如下表：

![031938445648200.png][]

假如有一个房子要卖，我们希望通过上表中的数据估算这个房子的价格。这个问题就是典型的回归问题，这边文章主要讲回归中的线性回归问题。

# 线性回归（Linear Regression） #

首先要明白什么是回归。回归的目的是通过几个已知数据来预测另一个数值型数据的目标值。假设特征和结果满足线性关系，即满足一个计算公式h(x)，这个公式的自变量就是已知的数据x，函数值h(x)就是要预测的目标值。这一计算公式称为回归方程，得到这个方程的过程就称为回归。

线性回归就是假设这个方式是一个线性方程，即假设这个方程是一个多元一次方程。以咱们上面提到的例子为例：假设房子的房屋面积和卧室数量为自变量x，用x1表示房屋面积，x2表示卧室数量；房屋的交易价格为因变量y，我们用h(x)来表示y。假设房屋面积、卧室数量与房屋的交易价格是线性关系。他们满足公式

[![031938451264628.png][]][031938451264628.png 1]

上述公式中的θ为参数，也称为权重，可以理解为x1和x2对h(x)的影响度。对这个公式稍作变化就是

![031938455488799.png][]

公式中θ和x是向量，n是样本数。

假如我们依据这个公式来预测h(x)，公式中的x是我们已知的，然而θ的取值却不知道，只要我们把θ的取值求解出来，我们就可以依据这个公式来做预测了。

那么如何依据训练数据求解θ的最优取值呢？这就牵扯到另外一个概念：**损失函数（Loss Function）。**

# 损失函数（Loss Function） #

我们要做的是依据我们的训练集，选取最优的θ，在我们的训练集中让h(x)尽可能接近真实的值。h(x)和真实的值之间的差距，我们定义了一个函数来描述这个差距，这个函数称为损失函数，表达式如下：

![031938466261370.png][]

这里的这个损失函数就是著名的**最小二乘损失函数**，这里还涉及一个概念叫**最小二乘法**，这里不再展开了。

我们要选择最优的θ，使得h(x)最近进真实值。这个问题就转化为求解最优的θ，使损失函数J(θ)取最小值。那么如何解决这个转化后的问题呢？这又牵扯到一个概念：**梯度下降（Radient Descent）**

# 最小均方算法（Least mean square，LMS算法） #

（对的朋友，你没有看错，不是梯度下降，是LMS算法。耐心点，梯度下降一会儿就出来了）

我们先来看当训练样本只有一个的时候的情况，然后再将训练样本扩大到多个的情况。训练样本只有一个的情况，我们借鉴LMS算法的思想。扩大到多个我们稍后说。

我们要求解使得J(θ)最小的θ值，LMS算法大概的思路是：我们首先随便给θ一个初始化的值，然后改变θ值让J(θ)的取值变小，不断重复改变θ使J(θ)变小的过程直至J(θ)约等于最小值。

首先我们给θ一个初试值，然后向着让J(θ)变化最大的方向更新θ的取值，如此迭代。公式如下：

![031938469554569.png][]

公式中α称为步长（learning rate），它控制θ每次向J(θ)变小的方向迭代时的变化幅度。J(θ)对θ的偏导表示J(θ)变化最大的方向。由于求的是极小值，因此梯度方向是偏导数的反方向。求解一下这个偏导，过程如下：

![031938473303755.png][]

那么θ的迭代公式就变为：

![031938478761655.png][]

这是当训练集只有一个样本时的数学表达。我们又**两种方式**将只有一个样本的数学表达转化为样本为多个的情况：**梯度下降（gradient descent）**和**正则方程（The normal equations）**。这里我们重点讲梯度下降。

# 梯度下降 #

*  **批梯度下降（batch gradient descent）**

如下公式是处理一个样本的表达式：

![031938482832597.png][]

转化为处理多个样本就是如下表达：

![031938491891155.png][]

这种新的表达式每一步都是计算的全部训练集的数据，所以称之为**批梯度下降（batch gradient descent）**。

注意，梯度下降可能得到局部最优，但在优化问题里我们已经证明线性回归只有一个最优点，因为损失函数J(θ)是一个二次的凸函数，不会产生局部最优的情况。（假设学习步长α不是特别大）

批梯度下降的算法执行过程如下图：

![031938497051596.png][]

大家仔细看批梯度下降的数学表达式，每次迭代的时候都要对所有数据集样本计算求和，计算量就会很大，尤其是训练数据集特别大的情况。那有没有计算量较小，而且效果也不错的方法呢？有！这就是：**随机梯度下降（Stochastic Gradient Descent, SGD）**

*  **随机梯度下降（Stochastic Gradient Descent, SGD）**

随机梯度下降在计算下降最快的方向时时随机选一个数据进行计算，而不是扫描全部训练数据集，这样就加快了迭代速度。随机梯度下降并不是沿着J(θ)下降最快的方向收敛，而是震荡的方式趋向极小点。[余凯][Link 1]教授在龙星计划课程中用“曲线救国”来比喻随机梯度下降。

随机梯度下降表达式如下：

[![clip\_image001][clip_image001]][clip_image001_clip_image001]

执行过程如下图：

![031938564554933.png][]

批梯度下降和随机梯度下降在三维图上对比如下：

![031939043617584.png][]

### 总结 ###

线性回归是回归问题中的一种，线性回归假设目标值与特征之间线性相关，即满足一个多元一次方程。使用最小二乘法构建损失函数，用梯度下降来求解损失函数最小时的θ值

[http_www.cnblogs.com_BYRans]: http://www.cnblogs.com/BYRans/
[031938445648200.png]: /images/20220718/c45a02c3146c4631b69dba52d5da2afa.png
[031938451264628.png]: /images/20220718/2bd3f4647729438eb9407a9197a5b84c.png
[031938451264628.png 1]: http://thinkbot.info/wp-content/uploads/2010/12/image3.png
[031938455488799.png]: /images/20220718/b5c01318dd2f41bab3c80931db5befe7.png
[031938466261370.png]: /images/20220718/268ab2e63c714558a22991a987803f8b.png
[031938469554569.png]: /images/20220718/ce5a1c75fc2c495d81d70cf1c5c229a6.png
[031938473303755.png]: /images/20220718/efb45b85189947fcbb5b159924c6d4fc.png
[031938478761655.png]: /images/20220718/d90faffff4964555a46dab3fb8ff28a7.png
[031938482832597.png]: /images/20220718/3663bcf410d34106a9eb3addc30c255b.png
[031938491891155.png]: /images/20220718/3198af855a124388852488994b510912.png
[031938497051596.png]: /images/20220718/12b8a3e769f04633bdbab0bb5de313c1.png
[Link 1]: http://baike.baidu.com/link?url=kTMitvYd1YRLTiN-LgsNk6_xe4lcRGt3TLNJ9XbxGjA1NHTsMriX1WN6aZ8lfliB4ZXpKSjNC4HB72BeG35Umv_lnz3uaw2m1BqYGxIpPpS
[clip_image001]: http://images0.cnblogs.com/blog/665518/201508/041717104558744.png
[clip_image001_clip_image001]: /images/20220718/1ea75edaa9a44d72a72ee61136751282.png
[031938564554933.png]: /images/20220718/86282906056f43179b0c3c50d58d0925.png
[031939043617584.png]: /images/20220718/7bf659cc48ff4a87bf408c158b83fe9e.png