吴恩达机器学习笔记--第三周-4.解决过拟合问题

绝地灬酷狼 2022-05-27 14:14 114阅读 0赞

# week3-4.Solving the Problem of Overfitting #

##     ##

## **一、The Problem of Overfitting** ##

![70][]

underfitting=high bias；overfitting=high variance。

![70 1][]

避免过拟合的方法：

![70 2][]

## **二、Cost Function** ##

![70 3][]

在代价函数J中对每个参数theta加入正则化项（罚函数），从而使所有的参数变小。

但是不对theta0增加正则化项。

![70 4][]

若正则化项中的系数lambda（又称为regularization parameter）过大，则会使所有参数都变得非常小，会出现欠拟合的情况。

## **三、Regularized Linear Regression** ##

![70 5][]

梯度下降公式改写后，变成最后一行的形式，其中1-alpha\*lambda/m吧theta\_j向0的方向压缩（如theta\_j变为0.99theta\_j）。负号后的一项与原来的梯度下降公式相同，相当于对0.99theta\_j进行梯度下降计算。

![70 6][]

将正则化项应用到正规方程中：

![70 7][]

## **四、Regularizedd Logistic Regression** ##

![70 8][]

[70]: /images/20220527/02ba3e469f50479ebdf76f518abb8175.png
[70 1]: /images/20220527/758d67309d1648dfa8f55a102632df9d.png
[70 2]: /images/20220527/30c7702877d94c2a9a8ab2b0dc0ca7f1.png
[70 3]: /images/20220527/5760086fb71b4223b2c8a6590605bf5c.png
[70 4]: /images/20220527/51cf4b1075294a0eba2dd797c047b5dc.png
[70 5]: /images/20220527/e68f99eaff7c4c3fa3871aeb160fb8a1.png
[70 6]: /images/20220527/2c002c11444c47bb8ddf72b69c15e1b8.png
[70 7]: /images/20220527/b872c307660540149982a725f7c00c16.png
[70 8]: /images/20220527/ee2de1679d2f4c37a197f095f13c0fa4.png

发表评论取消回复

表情：

评论列表（有 0 条评论，114人围观）

还没有评论，来说两句吧...

相关阅读

相关【吴恩达机器学习笔记】4神经网络

8 神经网络：表述(Neural Networks: Representation) 8.1 非线性假设（Non-linear hypothe）线性回归和逻辑回归

朱雀/ 2023年01月02日 03:28/ 0 赞/ 215 阅读

相关吴恩达机器学习笔记--第一周-3.参数学习

week1-3.Parameter Learning 一、Gradient Descent 二、Gradient Descent Intuition 梯度下降（

深藏阁楼爱情的钟/ 2022年05月28日 12:43/ 0 赞/ 160 阅读

相关吴恩达机器学习笔记--第一周-1.介绍

week1-1.Introduction 一、What is Machine Learning 起源：1959年Arthur Samuel制作了一个下西洋棋的程序，

冷不防/ 2022年05月28日 12:43/ 0 赞/ 162 阅读

相关吴恩达机器学习笔记--第三周-4.解决过拟合问题

week3-4.Solving the Problem of Overfitting 一、The Problem of Overfitting ![7

绝地灬酷狼/ 2022年05月27日 14:14/ 0 赞/ 115 阅读

相关吴恩达机器学习笔记--第三周-2.逻辑回归模型

week3-2.Logistic Regression Model 一、Cost Function 逻辑回归的基本问题： ![70][] ![70

你的名字/ 2022年05月27日 14:14/ 0 赞/ 165 阅读

相关吴恩达机器学习笔记--第三周-1.分类与逻辑回归

week3-1.Classification and Representation 一、Classification 二分类（binary class

你的名字/ 2022年05月27日 14:14/ 0 赞/ 148 阅读

相关吴恩达机器学习笔记--第一周-4.线性代数复习

week1-4.Linear Algebra Review 一、Matrics and Vectors 二、Addition and Scalar 三、Matr

叁歲伎倆/ 2022年05月27日 05:58/ 0 赞/ 153 阅读

相关吴恩达-coursera-机器学习测试题第五周

![70][] ![70 1][] ![70 2][] ![70 3][] ![70 4][] ![70 5][] ![70 6][] 如果我们使用梯度下降

痛定思痛。/ 2022年05月18日 05:08/ 0 赞/ 267 阅读

相关吴恩达机器学习笔记19-过拟合的问题（The Problem of Overfitting）

　　到现在为止，我们已经学习了几种不同的学习算法，包括线性回归和逻辑回归，它们能够有效地解决许多问题，但是当将它们应用到某些特定的机器学习应用时，会遇到过拟合 (ov

怼烎@/ 2021年12月21日 05:09/ 0 赞/ 136 阅读

相关吴恩达机器学习

机器学习(Machine Learning)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科，专门研究计算机怎样模拟或实现人类的学习行为，以获

短命女/ 2021年09月25日 10:54/ 0 赞/ 498 阅读