梯度下降法-6.调试梯度下降法

素颜马尾好姑娘i 2023-08-17 16:44 95阅读 0赞

# 梯度下降法的准确性与调试 #

对于梯度下降法的使用，一个非常重要的步骤是求解我们定义的损失函数\\(J\\)在某个点\\(\\theta\\)上的梯度值\\(dJ\\)，我们也花了很长时间来推导此公式，但是对于一些复杂的函数如非线性函数，求解梯度并不容易，在这种情况下，为了保证求解的梯度表达式正确，发现求解过程中的错误，需要进行梯度下降法的调试  
![1465169-20190720161512292-1227428571.png][]  
定义\\(\\theta=(\\theta\_0,\\theta\_1,\\theta\_2,\\theta \_0,...,\\theta \_n)\\) ，对每一个\\(\\theta\\)求导：  
\\\[\\Lambda J = (\\frac\{\\partial J\}\{\\partial \\theta \_0\},\\frac\{\\partial J\}\{\\partial \\theta \_1\},\\frac\{\\partial J\}\{\\partial \\theta \_2\},...,\\frac\{\\partial J\}\{\\partial \\theta \_n\})\\\]  
而其中：  
\\\[\\frac\{\\partial J\}\{\\partial \\theta \_i\} = \\frac\{J(\\theta\_i^+ )-J(\\theta\_i^-)\}\{2\\varepsilon \} =\\frac\{J(\\theta\_i +\\varepsilon )-J(\\theta\_i -\\varepsilon )\}\{2\\varepsilon \}\\\]

### 调试的过程： ###

构造数据集

import numpy
    import matplotlib.pyplot as plt
    
    numpy.random.seed(666)
    X = numpy.random.random(size=(1000,10))
    true_theta = numpy.arange(1,12)
    
    X_b = numpy.hstack([numpy.ones((len(X),1)),X])
    y = X_b.dot(true_theta) + numpy.random.normal(size=1000)

定义损失函数和梯度下降方法：

def J(theta,X_b,y):   #损失函数的表达式
        return numpy.sum((y - X_b.dot(theta))**2)/len(X_b)
    
    def dJ_math(theta,X_b,y):
        return X_b.T.dot(X_b.dot(theta)-y)*2/len(X_b)
    
    def dJ_Debug(theta,X_b,y,epsilon=0.01):
        m = len(theta)
        res = numpy.empty(m)
        for i in range(m):
            theta_1 = theta.copy()
            theta_1[i] += epsilon
            theta_2 = theta.copy()
            theta_2[i] -= epsilon
            res[i] = (J(theta_1,X_b,y)-J(theta_2,X_b,y))/(2*epsilon)
        return res

定义梯度下降过程：

def gradient_descent(dJ,X_b,y,init_theta,eta,n_iters=1e4,espilon=1e-8):
        
        theta = init_theta
        i_iters = 0
        
        # n_iters 表示梯度下降的次数，超过这个值，有可能算法不收敛，退出
        while n_iters>i_iters: 
            gradient = dJ(theta,X_b,y)  #偏导数
            last_theta = theta
            theta = theta - eta * gradient  #梯度下降，向极值移动   
            if abs(J(theta,X_b,y) - J(last_theta,X_b,y)) < espilon:
                break
            i_iters += 1 
        # 返回求出的theta值
        return theta
        
    init_theta = numpy.zeros(X_b.shape[1])
    eta=0.01

使用调试的方法梯度下降，查看\\(\\theta\\)值和计算时间

%time theta = gradient_descent(dJ_Debug,X_b,y,init_theta,eta,n_iters=1e4,espilon=1e-8)

![1465169-20190720161555804-124104508.png][]  
使用数学推导的方法梯度下降，查看\\(\\theta\\)值和计算时间

%time theta = gradient_descent(dJ_math,X_b,y,init_theta,eta,n_iters=1e4,espilon=1e-8)

![1465169-20190720161626959-693814715.png][]

通过结果比较，我们能确定数学推导的求梯度公式的正确性。

转载于:https://www.cnblogs.com/shuai-long/p/11218127.html

[1465169-20190720161512292-1227428571.png]: /images/20230809/bfd77f97dd49427dbc8fe841c308a545.png
[1465169-20190720161555804-124104508.png]: /images/20230809/4e3b35b1e60a4c8d9ad385c66a1c3527.png
[1465169-20190720161626959-693814715.png]: /images/20230809/f5e9ea5f30a043a6b6b8ef40583bef88.png