【代码】最小二乘法线性拟合Python实现（不使用任何数学库函数）

本是古典何须时尚 2022-05-20 08:59 390阅读 0赞

**文章最后是代码，是用最简单的方式来实现最小二乘，除了使用了一个读取csv文件的库以外不再调用其他库。**

**最小二乘法的原理我就不再介绍了，现引用维基百科的一个例子。**

\---------------------------------------------------------------------------------------------------------------------------

某次实验得到了四个数据点![(x, y)][x_ y]：![(1,6)][1_6]、![(2,5)][2_5]、![(3,7)][3_7]、![(4,10)][4_10]。我们希望找出一条和这四个点最匹配的直线 ![y=\\beta \_\{1\}+\\beta \_\{2\}x][y_beta _1_beta _2_x]，即找出在某种“最佳情况”下能够大致符合如下超定线性方程组的 ![\\beta \_\{1\}][beta _1] 和 ![\\beta \_\{2\}][beta _2]：

![\{\\begin\{alignedat\}\{4\}\\beta \_\{1\}+1\\beta \_\{2\}&&\\;=\\;&&6&\\\\\\beta \_\{1\}+2\\beta \_\{2\}&&\\;=\\;&&5&\\\\\\beta \_\{1\}+3\\beta \_\{2\}&&\\;=\\;&&7&\\\\\\beta \_\{1\}+4\\beta \_\{2\}&&\\;=\\;&&10&\\\\\\end\{alignedat\}\}][begin_alignedat_4_beta _1_1_beta _2_6_beta _1_2_beta _2_5_beta _1_3_beta _2_7_beta _1_4_beta _2_10_end_alignedat]

最小二乘法采用的手段是尽量使得等号两边的方差最小，也就是找出这个函数的最小值：

![\{\\begin\{aligned\}S(\\beta \_\{1\},\\beta \_\{2\})=&\\left\[6-(\\beta \_\{1\}+1\\beta \_\{2\})\\right\]^\{2\}+\\left\[5-(\\beta \_\{1\}+2\\beta \_\{2\})\\right\]^\{2\}\\\\&+\\left\[7-(\\beta \_\{1\}+3\\beta \_\{2\})\\right\]^\{2\}+\\left\[10-(\\beta \_\{1\}+4\\beta \_\{2\})\\right\]^\{2\}.\\\\\\end\{aligned\}\}][begin_aligned_S_beta _1_beta _2_left_6-_beta _1_1_beta _2_right_2_left_5-_beta _1_2_beta _2_right_2_left_7-_beta _1_3_beta _2_right_2_left_10-_beta _1_4_beta _2_right_2_._end_aligned]

最小值可以通过对![S(\\beta \_\{1\},\\beta \_\{2\})][S_beta _1_beta _2] 分别求 ![\\beta \_\{1\}][beta _1] 和 ![\\beta \_\{2\}][beta _2] 的偏导数，然后使它们等于零得到。

![\{\\frac  \{\\partial S\}\{\\partial \\beta \_\{1\}\}\}=0=8\\beta \_\{1\}+20\\beta \_\{2\}-56][frac _partial S_partial _beta _1_0_8_beta _1_20_beta _2_-56]

![\{\\frac  \{\\partial S\}\{\\partial \\beta \_\{2\}\}\}=0=20\\beta \_\{1\}+60\\beta \_\{2\}-154.][frac _partial S_partial _beta _2_0_20_beta _1_60_beta _2_-154.]

如此就得到了一个只有两个未知数的方程组，很容易就可以解出：

![\\beta \_\{1\}=3.5][beta _1_3.5]

![\\beta \_\{2\}=1.4][beta _2_1.4]

也就是说直线 ![y=3.5+1.4x][y_3.5_1.4x] 是最佳的。

\--------------------------------------------------------------------------------------------------------------------------------

你需要先自己构建一个csv文件，可以通过我的文件下载[https://github.com/yzy1996/Python-Code/tree/master/Least-squares][https_github.com_yzy1996_Python-Code_tree_master_Least-squares] or [https://download.csdn.net/download/yzy\_1996/10545871][https_download.csdn.net_download_yzy_1996_10545871]

import pandas as pd
    
    sales=pd.read_csv('train_data.csv',sep='\s*,\s*',engine='python')  #读取CSV
    X=sales['X'].values    #存csv的第一列
    Y=sales['Y'].values    #存csv的第二列
    
    #初始化赋值
    s1 = 0
    s2 = 0
    s3 = 0
    s4 = 0
    n = 4 
    
    #循环累加
    for i in range(n):
    	s1 = s1 + X[i]*Y[i]
    	s2 = s2 + X[i]
    	s3 = s3 + Y[i]
    	s4 = s4 + X[i]*X[i]
    	
    #计算斜率和截距
    b = (s2*s3-n*s1)/(s2*s2-s4*n)
    a = (s3 - b*s2)/n
    print("Coeff: {} Intercept: {}".format(b, a))

对代码进行解释，最重要的就是s1、s2、s3、s4的计算，根据上面的公式我们可以得到，自己去推导吧，很容易的。

最终的代码结果是与百科结果是一样的

![70][]

[x_ y]: https://wikimedia.org/api/rest_v1/media/math/render/svg/41cf50e4a314ca8e2c30964baa8d26e5be7a9386
[1_6]: https://wikimedia.org/api/rest_v1/media/math/render/svg/0fecc58fdf1a5bbb0fabfc83422787eb00757ea8
[2_5]: https://wikimedia.org/api/rest_v1/media/math/render/svg/3a94c81fce0078411311c7dfe221a9cdc6c6ccc9
[3_7]: https://wikimedia.org/api/rest_v1/media/math/render/svg/52788f3055b788f94c3909a04ee520ac46771baf
[4_10]: https://wikimedia.org/api/rest_v1/media/math/render/svg/66a4246fd432f3a24ac6bb85ca9db239845b86f5
[y_beta _1_beta _2_x]: https://wikimedia.org/api/rest_v1/media/math/render/svg/296cc349023cd61a9105ad2f669ece267da12664
[beta _1]: https://wikimedia.org/api/rest_v1/media/math/render/svg/eeeccd8b585b819e38f9c1fe5e9816a3ea01804c
[beta _2]: https://wikimedia.org/api/rest_v1/media/math/render/svg/8d30285b40d7488ae6caef3beb7106142869fbea
[begin_alignedat_4_beta _1_1_beta _2_6_beta _1_2_beta _2_5_beta _1_3_beta _2_7_beta _1_4_beta _2_10_end_alignedat]: https://wikimedia.org/api/rest_v1/media/math/render/svg/f1f4df8bcdfd1e568a330ebdfe9046e2c3cfbd95
[begin_aligned_S_beta _1_beta _2_left_6-_beta _1_1_beta _2_right_2_left_5-_beta _1_2_beta _2_right_2_left_7-_beta _1_3_beta _2_right_2_left_10-_beta _1_4_beta _2_right_2_._end_aligned]: https://wikimedia.org/api/rest_v1/media/math/render/svg/0a54ff2e6eab2c0875cc498b93854f1ad7493ae6
[S_beta _1_beta _2]: https://wikimedia.org/api/rest_v1/media/math/render/svg/6aee70482be7faa52d3aead2d4f0987d3f92f171
[frac _partial S_partial _beta _1_0_8_beta _1_20_beta _2_-56]: https://wikimedia.org/api/rest_v1/media/math/render/svg/8d25a43334f7cba13b85c0ae09221c9e3de7faef
[frac _partial S_partial _beta _2_0_20_beta _1_60_beta _2_-154.]: https://wikimedia.org/api/rest_v1/media/math/render/svg/33bbcb106fbb2ecd8e364f14c0f2cc4565f35730
[beta _1_3.5]: https://wikimedia.org/api/rest_v1/media/math/render/svg/965c7f44c618c0a58e72c77a97347f177eb116fd
[beta _2_1.4]: https://wikimedia.org/api/rest_v1/media/math/render/svg/02ed4818bfb625ea50e4b0580a316a61f0e41248
[y_3.5_1.4x]: https://wikimedia.org/api/rest_v1/media/math/render/svg/90f80928662ab155de21f253fbd1512808986d5d
[https_github.com_yzy1996_Python-Code_tree_master_Least-squares]: https://github.com/yzy1996/Python-Code/tree/master/Least-squares
[https_download.csdn.net_download_yzy_1996_10545871]: https://download.csdn.net/download/yzy_1996/10545871
[70]: /images/20220520/f44d112c51644cbfafc7ca9dd57ab348.png