机器学习复习笔记-华中科技大学

系统管理员 2023-01-02 11:26 160阅读 0赞

> 第二门有挂科风险的考试  
> 上午刚考完  
> 这门课程考核方式第一次改为考试  
> 所以没有复习资料  
> 还有一点记忆赶紧记录一下  
> 明年重修的时候就有复习材料了  
> 1月6日 孙院士和张院士补充了部分判断题

**简答**  
**1. 朴素贝叶斯和感知机基本思想与异同**  
**2. 简述SVM**  
**3.分类和回归的异同**  
**4.硬约束的SVM和软约束的SVM在数据是线性可分的情形下结果有何异同**

--------------------

**判断**

**MLE和MAP都是把θ当成随机变量**  
**在逻辑回归模型里牛顿法一定会得到全局最优解**  
**True Bayes…**  
**AdaGard每一个feature都有独立的学习率**  
**在训练集有小于10%的错误率 在测试集一定不会有100%的错误率**  
**KNN在高维数据的低维流形下不能得到正确的结果**

。。。其他的暂时想不起来了

--------------------

**计算&证明**

**1.使用最大似然估计最大的参数a**  
 Y = a X + ϵ Y = aX + \\epsilon Y=aX\+ϵ  
 ϵ ∼ N ( 0 , σ 2 ) \\epsilon \\sim N(0,\\sigma^2) ϵ∼N(0,σ2)  
 P ( Y ∣ X ， a ) = 1 2 π σ e x p ( − ( Y − a X ) 2 2 σ 2 ) P(Y|X，a)=\\frac\{1\}\{\\sqrt\{2\\pi\}\\sigma\}exp(-\\frac\{(Y-aX)^\{2\}\}\{2\\sigma^\{2\}\}) P(Y∣X，a)=2πσ1exp(−2σ2(Y−aX)2)  
**数据 D = \{ ( x 1 , y 1 ) , ( x 2 , y 2 ) , ( x 3 , y 3 ) , . . . , ( x n , y n ) \} D=\\\{(x\_\{1\},y\_\{1\}), (x\_\{2\},y\_\{2\}), (x\_\{3\},y\_\{3\}), ..., (x\_\{n\},y\_\{n\}) \\\} D=\{ (x1,y1),(x2,y2),(x3,y3),...,(xn,yn)\}相互独立**

**2.使用3-NN算法求解**  
**在5X5的网格中标出**  
 标 记 为 0 = \{ ( 0 , 2 ) ， . . . \} 一 共 五 个 坐 标 标记为0=\\\{ (0,2)，...\\\}一共五个坐标 标记为0=\{ (0,2)，...\}一共五个坐标  
 标 记 为 1 = \{ ( 3 , 2 ) ， . . . \} 一 共 五 个 坐 标 标记为1=\\\{ (3,2)，...\\\}一共五个坐标 标记为1=\{ (3,2)，...\}一共五个坐标  
1在网格中标出数据  
2写出3-NN算法的具体过程  
3标出不同标签的分类边界

**3求一个一个感知机的分类超平面，并且预测 y t y\_\{t\} yt**  
 x 1 = ( 1 , 1 , 0 , 1 ) T , y 1 = + 1 x\_\{1\}=(1,1,0,1)^\{T\},y\_\{1\}=+1 x1=(1,1,0,1)T,y1=\+1  
 x 2 = ( 0 , 0 , 1 , 1 ) T , y 2 = + 1 x\_\{2\}=(0,0,1,1)^\{T\},y\_\{2\}=+1 x2=(0,0,1,1)T,y2=\+1  
 x 3 = ( 1 , 1 , 0 , 0 ) T , y 3 = − 1 x\_\{3\}=(1,1,0,0)^\{T\},y\_\{3\}=-1 x3=(1,1,0,0)T,y3=−1  
 x 4 = ( 0 , 0 , 0 , 1 ) T , y 4 = − 1 x\_\{4\}=(0,0,0,1)^\{T\},y\_\{4\}=-1 x4=(0,0,0,1)T,y4=−1  
 x t = ( 0 , 1 , 0 , 1 ) T , y t = ? x\_\{t\}=(0,1,0,1)^\{T\},y\_\{t\}=? xt=(0,1,0,1)T,yt=?  
**具体的数据可能有错误**