Java代码使用最小二乘法实现线性回归预测

分手后的思念是犯贱 2024-03-26 11:21 54阅读 0赞

## 最小二乘法 ##

### 简介 ###

最小二乘法是一种在误差估计、不确定度、系统辨识及预测、预报等数据处理诸多学科领域得到广泛应用的数学工具。

它通过最小化误差（真实目标对象与拟合目标对象的差）的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。

*  最小二乘法还可用于曲线拟合。对于平面中的这n个点，可以使用无数条曲线来拟合。要求样本回归函数尽可能好地拟合这组值。综合起来看，这条直线处于样本数据的中心位置最合理。选择最佳拟合曲线的标准可以确定为：使总的拟合误差（即总残差）达到最小

*  最小二乘法也是一种优化方法，求得目标函数的最优值。并且也可以用于曲线拟合，来解决回归问题。回归学习最常用的损失函数是平方损失函数，在此情况下，回归问题可以著名的最小二乘法来解决。

简而言之，最小二乘法同梯度下降类似，都是一种求解无约束最优化问题的常用方法，并且也可以用于曲线拟合，来解决回归问题。

### 图解 ###

![d27de9e48f4340b484675d4d9c8d6dd5.png][]

最小二乘求解，即给定一组x和y的样本数据，计算出一条斜线，距离每个样本的y的距离的平均值最小，如下图（这个以水平线为例）：

![167abbe258b98cfa59142498b91416ab.gif][]

### 公式 ###

普通最小二乘法一般形式可以写成（字母盖小帽表示估计值，具体参考应用概率统计）：

![b25db07f42204edbb418728d15483151.png][]

即：

![56da583de8964524b96d1019d60bfeb9.png][]

### 应用场景 ###

最小二乘法是一种常用的数学方法，用于在给定一组数据点的情况下，拟合出最佳的曲线或函数。它可以在多个领域应用中找到广泛的应用。以下是一些常见的最小二乘法的应用场景：

1.  数据拟合：最小二乘法可用于数据拟合问题。例如，在实验数据分析中，通过将实验结果与已知模型进行比较，使用最小二乘法来确定模型参数。这可以帮助我们了解现象背后的规律。
2.  回归分析：最小二乘法可用于回归分析，以探索自变量与因变量之间的关系。通过拟合一个函数或曲线到已知数据点，可以预测未来的观测结果。回归分析在经济学、金融学、社会科学等领域具有广泛的应用。
3.  时间序列分析：最小二乘法可以用于时间序列数据的建模和预测。通过对历史数据进行拟合，可以预测未来的趋势和模式，对股票市场、天气预测、销售预测等具有重要意义。
4.  信号处理：在数字信号处理中，最小二乘法可以用于滤波器设计和频谱估计。通过拟合到观测信号，我们可以提取出需要的信号成分，以及滤除噪声和干扰。
5.  图像处理：在图像处理中，最小二乘法可以用于图像重建、去噪和图像压缩等任务。通过拟合到图像数据，可以提取出图像的特征或进行图像修复。
6.  机器学习：最小二乘法在机器学习算法中也有应用，例如线性回归算法。线性回归使用最小二乘法来拟合一个线性函数到训练数据，从而实现预测和模式识别。

总的来说，最小二乘法是一种非常实用的工具，可在多个领域中应用于参数估计、数据拟合、预测和模型建立等问题。它提供了一种有效的数学方法，可以通过拟合曲线或函数来理解和分析数据。

## 代码实现 ##

import java.util.HashMap;
    import java.util.Map;
    
    /**
     *  线性回归
     * @author tarzan
     */
    public class LineRegression {
    
        /** 直线斜率 */
        private static double k;
        /** 截距 */
        private static double b;
        /**
         * 最小二乘法
         * @param xs
         * @param ys
         * @return y = kx + b, r
         */
        public Map<String, Double> leastSquareMethod(double[] xs, double[] ys) {
            if(0 == xs.length || 0 == ys.length || xs.length != ys.length) {
                throw new RuntimeException();
            }
            // x平方差和
            double Sx2 = varianceSum(xs);
            // y平方差和
            double Sy2 = varianceSum(ys);
            // xy协方差和
            double Sxy = covarianceSum(xs, ys);
    
            double xAvg = arraySum(xs) / xs.length;
            double yAvg = arraySum(ys) / ys.length;
    
             k = Sxy / Sx2;
             b = yAvg - k * xAvg;
            //拟合度
            double r = Sxy / Math.sqrt(Sx2 * Sy2);
            Map<String, Double> result = new HashMap<>(5);
            result.put("k", k);
            result.put("b", b);
           result.put("r", r);
            return result;
        }
    
        /**
         * 根据x值预测y值
         *
         * @param x x值
         * @return y值
         */
        public double getY(double x) {
            return k*x+b;
        }
    
        /**
         * 根据y值预测x值
         *
         * @param y y值
         * @return x值
         */
        public double getX(double y) {
            return (y-b)/k;
        }
    
    
        /**
         * 计算方差和
         * @param xs
         * @return
         */
        private double varianceSum(double[] xs) {
            double xAvg = arraySum(xs) / xs.length;
            return arraySqSum(arrayMinus(xs, xAvg));
        }
    
        /**
         * 计算协方差和
         * @param xs
         * @param ys
         * @return
         */
        private double covarianceSum(double[] xs, double[] ys) {
            double xAvg = arraySum(xs) / xs.length;
            double yAvg = arraySum(ys) / ys.length;
            return arrayMulSum(arrayMinus(xs, xAvg), arrayMinus(ys, yAvg));
        }
    
        /**
         * 数组减常数
         * @param xs
         * @param x
         * @return
         */
        private double[] arrayMinus(double[] xs, double x) {
            int n = xs.length;
            double[] result = new double[n];
            for(int i = 0; i < n; i++) {
                result[i] = xs[i] - x;
            }
            return result;
        }
    
        /**
         * 数组求和
         * @param xs
         * @return
         */
        private double arraySum(double[] xs) {
            double s = 0 ;
            for( double x : xs ) {
                s = s + x ;
            }
            return s ;
        }
    
        /**
         * 数组平方求和
         * @param xs
         * @return
         */
        private double arraySqSum(double[] xs) {
            double s = 0 ;
            for( double x : xs ) {
                s = s + Math.pow(x, 2);
            }
            return s ;
        }
    
        /**
         * 数组对应元素相乘求和
         * @param xs
         * @return
         */
        private double arrayMulSum(double[] xs, double[] ys) {
            double s = 0 ;
            for( int i = 0 ; i < xs.length ; i++ ){
                s = s + xs[i] * ys[i] ;
            }
            return s ;
        }
    
        public static void main(String[] args) {
            double[] xData = new double[]{1, 2, 3, 4,5,6,7,8,9,10,11,12};
            double[] yData = new double[]{4200,4300,4000,4400,5000,4700,5300,4900,5400,5700,6300,6000};
            LineRegression lineRegression= new LineRegression();
            System.out.println(lineRegression.leastSquareMethod(xData, yData)); 
            //预测
            System.out.println(lineRegression.getY(10d));
        }
    }

代码中的k为线性直线的斜率，b为截距，r代表计算结果的直线拟合度。

当r = 1时称为完美拟合，当r =0 时称为糟糕拟合，

*  事实上，R2不因y 或x 的单位变化而变化。

*  零条件均值，指给定解释变量的任何值，误差的期望值为零。换言之，即 E(u|x)=0。

## 测试 ##

idea中运行上面代码的主方法，控制台输出为：

![19d1c44faee7477ea7a38c9af5f97e0f.png][]

r的值接近于1，说明拟合度高。 测试x=10 时，输出结果5689.7与真实值误差约为11。

## 总结 ##

最小二乘法线性回测，常用股票、公司未来营收的预测。有着广泛的应用。

最小二乘法是一种用于函数拟合的思想。根据勒让德的最佳原则，最小二乘法的目标是通过最小化误差平方和来找到函数参数的最优解。具体而言，最小二乘法通过求解目标函数L = ∑ i = 1 n ( y i − f ( x ) ) 2 的最小值来确定函数参数。这里的“二乘”表示平方，即将每个数据点的预测值与实际值之差平方后求和。\[1\]

为什么选择误差平方作为目标函数而不是其他形式的误差度量，这个问题曾经困扰了许多数学家，包括欧拉和拉普拉斯。后来，高斯建立了一套误差分析理论，并证明了在使误差平方和最小的情况下，系统是最优的。\[2\]

最小二乘法常用于线性回归问题，因为线性回归相对简单，可以直接推导出解析解。此外，许多非线性问题也可以转化为线性问题来使用最小二乘法进行求解。因此，最小二乘法得到了广泛的应用。尽管许多人将最小二乘法与线性回归等同起来，但实际上最小二乘法是一种通用的思想，可以用于拟合任意函数，而线性回归只是其中一个简单且常用的函数模型。\[3\]

文章还有没讲清楚的地方，或为你有疑问的地方，欢迎评论区留言！！！

[d27de9e48f4340b484675d4d9c8d6dd5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/54f2eea9228a4237b7b17eee2141abb9.png
[167abbe258b98cfa59142498b91416ab.gif]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/c055d1a8b9a54d139f768240b43daed6.png
[b25db07f42204edbb418728d15483151.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/557b01798e044a75bd4d53d161100ebc.png
[56da583de8964524b96d1019d60bfeb9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/8818ad59a578446293f87c12be6114bc.png
[19d1c44faee7477ea7a38c9af5f97e0f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/a171446dc24548e485be772b4af68f44.png