机器学习中小知识集锦

矫情吗；* 2022-12-04 09:18 166阅读 0赞

# 0.总结 #

*  LawsonAbs的认知与思考，望各位读者审慎阅读。
 *  文章来源：CSDN\_LawsonAbs
 *  持续更新~

--------------------

# 1. [train dev test 以及交叉验证][train dev test] #

## 2.激活函数 ##

### 2.1 饱和 ###

对于一个激活函数，如果在x趋向于负无穷  − ∞ -\\infty −∞时，其导数接近于0，则称为左饱和；对于一个激活函数，如果在x趋向于 \+ ∞ +\\infty \+∞时，其导数接近于0，则称为右饱和。如果一个激活函数是左右均饱和，则称之为饱和的激活函数。

## 3.向量乘积的几种形式 ##

### 3.1 `dot/scalar product` ###

直接上wiki的解释吧  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center]  
 a ∗ b = ∣ a ∣ ∗ ∣ b ∣ ∗ c o s θ a\*b =|a| \* |b| \* cos\\theta a∗b=∣a∣∗∣b∣∗cosθ 其中 θ \\theta θ为向量a,b的夹角。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center 1]

### 4.2 `Inner product （projection product）` ###

Inner product 是比dot product 更为宽泛的概念，但是一般我们可以将其视为相同。这里不再班门弄斧了。

### 4.3 Scalar multiplication ###

指的是一个数乘以向量

# 5.“硬软”称呼 #

通常，在机器学习或者深度学习中经常会碰到各种“硬软”带头的称呼，比如说：硬分类，软分类；硬性注意力机制，软性注意力机制… 那么这里的硬软到底指的是什么呢？概括的说，这里的软硬指的就是是否可商量。【软：保留每项的概率，结果是各项的加权和（由各项商量）；硬：只取某一项，结果就是该项（不可商量）】

# 6.[先验，后验概率][Link 1] #

# 7.sigmoid 函数和softmax函数的区别 #

## 7.1 `sigmoid` 函数 ##

经过sigmoid 函数处理后的值，范围在 `[0,1]` 之间，但是没有  ∑ x i = 1 \\sum x\_i = 1 ∑xi=1 的特性；所以常用sigmoid做激活函数

## 7.2 `softmax`函数 ##

经过softmax函数处理后的值，各个维度加起来和为1。所以通常用softmax 模拟分布

## 7.3 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center 2]

# 8.[梯度和方向导数][Link 2] #

# 9.贝叶斯派和概率派 #

<table> 
 <thead> 
  <tr> 
   <th>比较项</th> 
   <th>贝叶斯派</th> 
   <th>概率派</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>未知参数</td> 
   <td>未知参数和其它参数一样，都是随机变量，因此参数估计和变量推断能在统一在推断框架下进行</td> 
   <td>-</td> 
  </tr> 
 </tbody> 
</table>

# 10.[生成式模型和判别式模型][Link 3] #

## 参考资料 ##

*  https://www.bilibili.com/video/BV1GQ4y1P7Tv
 *  http://netedu.xauat.edu.cn/jpkc/netedu/jpkc/gdsx/homepage/5jxsd/51/513/5308/530807.htm 【方向导数和梯度】
 *  《机器学习》 周志华著

[train dev test]: https://lawson-t.blog.csdn.net/article/details/112859706
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/11252e22e4384aba881deb6c662c8763.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/fc69cce257964ff9a686e32bef3e6865.png
[Link 1]: https://lawson-t.blog.csdn.net/article/details/112299006
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/89d151d5b1a84ea78e3f88b4598e8997.png
[Link 2]: https://lawson-t.blog.csdn.net/article/details/112251349
[Link 3]: https://lawson-t.blog.csdn.net/article/details/111831382