python3机器学习神经网络基础算法__最小二乘法（LS算法）

以你之姓@ 2022-04-10 07:17 146阅读 0赞

# 1.LS算法说明 #

> LS算法是一种数学优化技术，也是一种机器学习常用算法。他通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便的**求得未知的数据(1)**，并使得这些求得的数据与实际数据之间误差的平方和最小。除此之外最小二乘法还可用于**曲线拟合(2)**，其他一些**优化问题(3)**也可通过最小化鞥能量或最大化熵用最小二乘法表示。

# 2.LS算法原理 #

> 最小二乘法实际上解决的是当Ax=C无解的情况下的最优解。
> 
> ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FkbWluX21heGlu_size_16_color_FFFFFF_t_70][]
> 
>  
> 
> ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FkbWluX21heGlu_size_16_color_FFFFFF_t_70 1][]

import numpy as np
    import matplotlib.pyplot as plt
    
    
    # 两个点A和C
    A = np.array([[3], [1]])
    C = np.array([[1], [3]])
    
    # np.linalg.inv: 计算矩阵的逆
    # np.linalg: 提供线性代数工具的模块
    # x' = (A.T*A)^(-1)*A.T*C
    AA = np.linalg.inv(A.T.dot(A))
    B = A.T.dot(C)
    l = AA.dot(B)
    
    # P=Ax'
    P = A.dot(l)
    x = np.linspace(-2, 2, 10)
    x.shape = (1, 10)
    
    # 画出直线y=ax
    # A:(2, 1)
    # x:(1, 9)
    # xx:(2, 9)
    xx = A.dot(x)
    fig = plt.figure(figsize=(10, 6))
    ax = fig.add_subplot(111)
    ax.plot(xx[0, :], xx[1, :])
    
    # 画出A点
    ax.plot(A[0], A[1], "ko")
    
    # 画出C点和P点的连线
    ax.plot([C[0], P[0]], [C[1], P[1]], "r-o")
    
    # 画出OC曲线
    ax.plot([0, C[0]], [0, C[1]], "m-o")
    
    # 画出坐标轴
    ax.axvline(x=0, color="b")
    ax.axhline(y=0, color="b")
    
    # 标写每个点的字母
    # margin: 偏移量
    # ax.text: 在坐标轴上添加文本
    margin = 0.1
    ax.text(A[0]+margin, A[1]+margin, r"A", fontsize=20)
    ax.text(C[0]+margin, C[1]+margin, r"C", fontsize=20)
    ax.text(P[0]+margin, P[1]+margin, r"P", fontsize=20)
    ax.text(0+margin, 0+margin, r"o", fontsize=20)
    ax.text(0+margin, 4+margin, r"y", fontsize=20)
    ax.text(4+margin, 0+margin, r"x", fontsize=20)
    plt.xticks(np.arange(-2, 3))
    plt.yticks(np.arange(-2, 3))
    ax.axis("equal")
    plt.show()

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FkbWluX21heGlu_size_16_color_FFFFFF_t_70]: /images/20220402/f4bbf027abe84288b357a7d928700744.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FkbWluX21heGlu_size_16_color_FFFFFF_t_70 1]: /images/20220402/adaa47b0d2b64d7a8ca18de31535d9ae.png