机器学习之线性回归

以你之姓@ 2022-05-26 00:36 230阅读 0赞

## **单变量线性回归** ##

说到机器学习的话，很多人首先会想到的是单变量的线性回归,好像大家高中的时候都学过。很多人不理解，这种线性回归的东西跟机器学习有什么关系。

其实单变量的话形式很简单：![70][]

![70 1][]

但是让这种函数充分拟合大致有线性关系的离散点，怎么做到呢？这就需要一个损失函数了：

![70 2][]

其实就是回归函数值与真实的y值的欧式距离求和。想要拟合效果最好，就要使得损失函数最小化。怎么最小化呢？

我们很容易看得出损失函数是个凸函数，二阶导数大于零。也就说有最优解。怎么求最优解呢？另两个变量的偏导等于0，即可。

![70 3][]

令两式都为0.解得：

![70 4][]

这个就是高中我们学过最小二乘法解线性回归的参数了！

行吧，先拿单变量练一练手。

数据集是关于年龄与身高的，来源：[点击打开链接][Link 1]

把两个文件与代码放在同一个文件下面。然后就可以打码了。

import numpy as np
    import matplotlib.pyplot as plt
    
    def linear_regression_one_var(x, y):
        #  y=bx+a
        num = len(x)
        b = (np.sum(x*y)-num*np.mean(x)*np.mean(y))/(np.sum(x*x)-num*np.mean(x)**2)
        a = np.mean(y)-b*np.mean(x)
        return np.array([b, a])
    
    
    x = np.loadtxt('ex2x.dat')
    y = np.loadtxt('ex2y.dat')
    b, a = linear_regression_one_var(x, y)
    print(b,a)
    fx = b*x+a
    plt.plot(x, fx)
    plt.plot(x, y, 'o')
    plt.xlabel('age')
    plt.ylabel('height')
    plt.show()

输出：

0.0638811658258342 0.7501625370012386

![20180421162058851][]

等等，上面写的还停留在标量的阶段，实在是很不简洁，要是算多变量就很麻烦了。

这该怎么办呢？向量化，矩阵化！

![70 5][]

重新定义参数，W是参数的矩阵，本质上是一个列向量，w0其实是常量的参数，不是变量的参数，为了运算的方便，纳入到参数矩阵中。X是变量的矩阵，上标代表是哪一个样本，每一列都是一个样本的特征变量，这里是单变量线性回归嘛，所以每列第一个都是1，代表那个常量，每列第二个就是该样本的特征变量了，因为是单变量，所以就不添下标了。Y的话就不用说了，本质上是一个列向量。

好了，那个回归函数就很容易写出来了。

![70 6][]

我写的这个形式和别人的可能不太一样。

然后定义损失函数：

![70 7][]

m是样本的个数，这个实践例子中，m=50，为什么是2m呢？为了求导后的形式美观，待会你看就知道了。

改变W矩阵，使得损失函数最小化！很简单，令

![70 8][]

其实这个0是零矩阵，这是矩阵求导！矩阵求导细节，知乎上有个很好的讲解：[矩阵求导术][Link 2]

还是写下求导的具体过程：

1、处理J(W)：

![70 9][]

2、套迹，其实我们知道J(W)是标量，所以可以套个迹，方便后面的微分

![70 10][]

3、全微分

![70 11][]

4、求导数

![70 12][]

终于把导数求出来了。如果直接令导数等于0，解W是可以的。

![70 13][]

这种求法的弊端在于矩阵的逆不存在时（也就是有多个最优解时），就不能用这种方法算了。

更推荐一种方法是，梯度下降法。原理的话，网上大把

具体形式：

![70 14][]

alpha是步长。行吧最后上代码：

import numpy as np
    
    def gradient_descent(x, y, w, col, alpha=0.06,times=3000,eps=1e-9):  # 调参有点难受啊
        for i in range(times):
            y_predit_T = x.T * w
            dJ_dw = 1 / col * x * (y_predit_T - y.T)
            w -= alpha * dJ_dw  # 同一个w矩阵
            if np.sum(np.abs(dJ_dw))<eps:
                print('第{}次迭代后的结果'.format(i))
                break
    x = np.loadtxt('ex2x.dat')
    y = np.loadtxt('ex2y.dat')
    x.resize((1,50))
    x=np.append(np.ones((1,50)),x,0)
    y.resize((1,50))
    row,col=x.shape
    w = np.mat(np.zeros((row,1)))
    x_mat=np.mat(x)#矩阵化后可以直接使用矩阵乘法
    y_mat=np.mat(y)
    gradient_descent(x_mat,y_mat,w,col)
    print(w)
    w0=(x_mat*x_mat.T).I*x_mat*y_mat.T#I表示矩阵的逆
    print('直接求解的结果')
    print(w0)

输出：

第2917次迭代后的结果
    [[0.75016253]
     [0.06388117]]
    直接求解的结果
    [[0.75016254]
     [0.06388117]]

感觉还行吧，就是调参有点恶心。

多变量就不写了，一样的。

[70]: /images/20220526/ec98482df064426f8ca9de5bdb27925f.png
[70 1]: /images/20220526/bd5f24957042458184fbc84103dad9fb.png
[70 2]: /images/20220526/cc502c96bb59453c87c3ac0d17e4891a.png
[70 3]: /images/20220526/ed71b91ba12040048e26c67e9b1f56ff.png
[70 4]: /images/20220526/e799f61493ba4b8e9e69d21c1254950e.png
[Link 1]: http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=DeepLearning&doc=exercises/ex2/ex2.html
[20180421162058851]: /images/20220526/39b454f5b39b4d43b5180387e5fd3280.png
[70 5]: /images/20220526/8f765841730f4af8b8a326c919811a49.png
[70 6]: /images/20220526/5953363732ca432e8294b1c99e915c54.png
[70 7]: /images/20220526/98fbd95d34c04488aed4fdd78e880c8e.png
[70 8]: /images/20220526/d32c59bf17b34d6b8202cbef8263c24a.png
[Link 2]: https://zhuanlan.zhihu.com/p/24709748
[70 9]: /images/20220526/452f155747b341c0938e550c09d9d5c2.png
[70 10]: /images/20220526/d6b55e0069d6456f88b39735c4efa90b.png
[70 11]: /images/20220526/3e13794ce22742478257686b5e2d2a3c.png
[70 12]: /images/20220526/256efa01d5ea452dbe6012f181a4a873.png
[70 13]: /images/20220526/e2c83f22797040a19eef64366045ab0a.png
[70 14]: /images/20220526/80b2a3c17a66432296dcf5000e2d1f93.png