机器学习数学基础 - 线性代数

我不是女神ヾ 2023-08-17 16:36 131阅读 0赞

# 向量空间 #

## 定义 ##

**集和　　** **-** 具备某种特定性质的事物的总体,可有限,可无限, 可以理解为某种相似数据的集成 ( 如, 整数集, 实数集 )

**空间　　** **-** 满足一定条件的集和

**向量　　 -** 具备大小和方向的量

**向量空间　　 -** 满足了加乘运算的集和

![1450319-20190926091245297-222753793.png][]

### 例子 ###

较为常见的是 n 维空间 ![1450319-20190926100041591-470312805.png][], n 表示空间的维度, 当 n = 3 的时候, 可以理解为一个被取定了坐标系的三维空间

空间内的每一个组都可以被一组实数列表来进行表示, 列表中的每个点为该坐标轴上的投影

![1450319-20190926095936348-1256814492.png][]

## 向量的定义与运算 ##

### 定义 ###

**向量** 　　**-** 向量空间的元素为向量

![1450319-20190926101113269-1676971187.png][]

### 运算 ###

#### 加法 ####

代数角度　　- 同位置相加,

几何角度　　- 按照某一个向量平移后首位相连, 计算新向量

![1450319-20190926101217705-582023361.png][]![1450319-20190926101250590-2074090559.png][]

#### 乘法 ####

代数角度　　- 变量于实数相乘, 变量中的所有数字于实数相乘即可

几何角度　　- 变量在空间中的伸缩

![1450319-20190926101320380-1066256412.png][]![1450319-20190926101721451-658139104.png][]

## 向量组的线性组合 ##

### 定义 ###

**向量组**　　**-**  若干个 **同维度** 的列向量( 或 行向量 ) 所组成的 **集和**

**线性组合 　　- ↓**

![1450319-20190926102042738-276346245.png][]

### 意义 ###

#### 帮助理解 基 的概念 ####

向量空间中的任何一个变量. 都可以看做是对基向量的缩放和相加操作

都可以写成两个向量的线性组合, 如图的 ![1450319-20190926102633954-25017520.png][]

![1450319-20190926102701726-1940540673.png][]

#### 帮助理解 span(张成空间) 的概念 ####

![1450319-20190926102937919-283999210.png][]

不断的调整 ![1450319-20190926103033977-1887177984.png][] 和 ![1450319-20190926103106574-676015006.png][] 可以得到无数的新向量, 而这些新向量的组成的集和, 就叫做张成空间

![1450319-20190926103007051-999604237.png][]

## 向量组的线性相关性 ##

### 定义 ###

![1450319-20190926104039982-999902479.png][]

![1450319-20190926104202002-1438204639.png][]

# 内积和范数 #

## 定义 ##

### 内积 ###

从代数的角度来说 , 内积是两个向量之间的一种运算, 结果为一个实数

![1450319-20190926104437164-1722958885.png][]

### 范数 ###

**范数定义了向量空间里面的距离**, 最终结果依旧是个实数, 它的出现使得向量之间的比较成为了可能

一维空间中, 4, 5 两个实数的比较很容易, 但是多维度空间中的 \[2,2\] 和 \[2,1\] 如何比较?

转化为范数后即可, 范数本质上是个 函数,

常用的范数有

L1 曼哈顿距离 , 函数运算为 绝对值计算

L2 欧几里得范式, 函数的运算为 平方再开方

![1450319-20190926105026000-1540418609.png][]

![1450319-20190926105337417-1469341690.png][]

## 内积的几何解释 ##

在了解了范数的原理之后, 就可以在几何角度上解释内积

内积定义了向量空间里的角度

u 和 v 的内积结果就是他们的 长度 \* 角度

![1450319-20190926105932183-1175423695.png][]

# 矩阵和线性变换 #

## 矩阵定义 ##

![1450319-20190926143804940-953841885.png][]

## 特殊矩阵 ##

![1450319-20190926143923404-967427422.png][]

## 线性变换定义 ##

线性空间中的运动, 被称为线性变换

线性空间中的一个向量变成两一个向量, 都可以通过一个线性变换完成

向量的的线性变换必须保证原点不变 ( 基于原点旋转 ), 以及形状不变 ( 箭头不能弯曲等 )

![1450319-20190926144437083-1833799495.png][]

线性变换也可以对空间中的所有变量进行,比如把二维空间中的所有向量想象成充满空间的点

![1450319-20190926144551555-2086544095.png][]

那么空间里面的线性变换, 其实相当于对空间这个平面的啦拉扯

![1450319-20190926144613567-1739159622.png][]

如图原始空间如下

![1450319-20190926144807826-1275210347.png][]

下面4个中只有 第四个满足空间的线性变换, 1 发送了扭曲, 2 移动了原点, 3发生了扭曲

![1450319-20190926144846748-889444209.png][]

## 线性变换数值描述 - 矩阵 ##

![1450319-20190926145942137-158155712.png][]

在一个线性空间中, 选定一组基向量, 将变换后的基向量的数值列表放在一个矩阵里

这个矩阵就代表了这个线性变换

![1450319-20190926150000301-675552269.png][]

原始的空间向量

![1450319-20190926145316670-1135476924.png][]

拉伸后

![1450319-20190926145610158-2067564807.png][]

计算结果

![1450319-20190926145723457-1051556583.png][]

对向量施加变换的过程, 也可以用 Ax=y 来表示

![1450319-20190926145848568-999743294.png][]

## 矩阵运算 ##

### 加法 ###

两个行数、列数分别相等的矩阵（同型矩阵），加法运算才有意义。

![1450319-20190926153412454-152129996.png][]

交换律：![1450319-20190926153448683-294034320.png][]

结合律：![1450319-20190926153500202-1339847180.png][]

### 乘法 ###

#### 于数的乘法 ####

数与矩阵中的每一个元素分别相乘所得的矩阵

![1450319-20190926153553388-200361109.png][]

#### 与矩阵的乘法 ####

设*A*为 ![902397dda144ad34da6756f9d6a20cf430ad85f0.jpg][] 的矩阵，*B*为 ![a2cc7cd98d1001e9a8aac571be0e7bec54e7973e.jpg][] 的矩阵，那么称 ![0824ab18972bd407704270837d899e510eb309c2.jpg][] 的矩阵*C*为矩阵*A*与*B*的乘积

记作 ![bd315c6034a85edf8d995c5d4f540923dd5475b2.jpg][] ，其中矩阵C中的第 ![4e4a20a4462309f7c1357d6c740e0cf3d7cad672.jpg][] 行第 ![d62a6059252dd42a4f5fd1d5053b5bb5c9eab87e.jpg][] 列元素可以表示为

![1450319-20190926154827346-563692068.png][]

如下所示, 其实就是 A 的行向量 每个 乘上 B 的列向量

A 有两个行向量, B 有两个列向量. 最后结果为一个 4x4 的新矩阵

![1450319-20190926160232072-1542866118.png][]

多个的也是一样的推导

![1450319-20190926154903060-1118945787.png][] ![1450319-20190926154906784-1521035398.png][]

![1450319-20190926154913360-1102967012.png][]

#### 注意事项 ####

1、当矩阵A的列数（column）等于矩阵B的行数（row）时，A与B可以相乘。

2、矩阵C的行数等于矩阵A的行数，C的列数等于B的列数。

3、乘积C的第m行第n列的元素等于矩阵A的第m行的元素与矩阵B的第n列对应元素乘积之和。

### 几何意义的矩阵运算 ###

矩阵和和向量的乘法, 本质上是向量在空间上进行线性变换

矩阵的相乘是空间上的两种线性变换的叠加

![1450319-20190926160636934-622694768.png][]

## 矩阵的转置 ##

![1450319-20190926160805186-1337717168.png][]

## 矩阵的行列式 ##

### 定义 ###

行列式是数学中的一个函数, 将一个 n \* n 的矩阵 A 映射到一个纯量

记作 det(A) 或者 |A|

### 注意 ###

矩阵的行列式只针对方阵 (行数和列数相等) 有效

### 计算 ###

对角线上的元素相乘后减法累积

![1450319-20190926161152134-365249815.png][]

### 几何意义 ###

在二维空间中, 行列式表示矩阵对应的线性变化前后的面积比

在高维空间

转载于:https://www.cnblogs.com/shijieli/p/11589688.html

[1450319-20190926091245297-222753793.png]: /images/20230810/413cfffcf7aa40649ae4d1ea1ff590f2.png
[1450319-20190926100041591-470312805.png]: /images/20230810/a22d1d37a72c4a2995f0e8a12f63e026.png
[1450319-20190926095936348-1256814492.png]: /images/20230810/b0f16171836348df85f61af188acbb11.png
[1450319-20190926101113269-1676971187.png]: /images/20230810/5c43a758940b4a059f805acfe9cec48e.png
[1450319-20190926101217705-582023361.png]: https://img2018.cnblogs.com/blog/1450319/201909/1450319-20190926101217705-582023361.png
[1450319-20190926101250590-2074090559.png]: /images/20230810/03c2322af9cc4582b7e811e004a1d727.png
[1450319-20190926101320380-1066256412.png]: https://img2018.cnblogs.com/blog/1450319/201909/1450319-20190926101320380-1066256412.png
[1450319-20190926101721451-658139104.png]: /images/20230810/a6a8a4018ed74f44936bac57009d4b7c.png
[1450319-20190926102042738-276346245.png]: /images/20230810/7e267e6406a44064a71ac4c60ec757e5.png
[1450319-20190926102633954-25017520.png]: /images/20230810/599741292f9e4f098eb048b0fbe791ce.png
[1450319-20190926102701726-1940540673.png]: /images/20230810/c45c536237ea403aae63bd03c2e99a86.png
[1450319-20190926102937919-283999210.png]: /images/20230810/3870652aee3742b39e82031069938ae1.png
[1450319-20190926103033977-1887177984.png]: https://img2018.cnblogs.com/blog/1450319/201909/1450319-20190926103033977-1887177984.png
[1450319-20190926103106574-676015006.png]: /images/20230810/8979369377194c948e65ab1434dcefdb.png
[1450319-20190926103007051-999604237.png]: /images/20230810/22cc68de492f45609230b327c4c35e5f.png
[1450319-20190926104039982-999902479.png]: /images/20230810/0fd90929796147b68c9a87b33673f525.png
[1450319-20190926104202002-1438204639.png]: /images/20230810/8a51cea3916f4fdba8a458165dd8781d.png
[1450319-20190926104437164-1722958885.png]: /images/20230810/05ace1191dd143bfa5c3efe9bd590ebe.png
[1450319-20190926105026000-1540418609.png]: /images/20230810/d50134850c44454b874b62e60400a419.png
[1450319-20190926105337417-1469341690.png]: /images/20230810/ba07d4ccceda407693cb7811aa1b536d.png
[1450319-20190926105932183-1175423695.png]: /images/20230810/23002e8d503b42e4a068b768332a82d2.png
[1450319-20190926143804940-953841885.png]: /images/20230810/9fe29af6253c45c4b0e88a0682efbb41.png
[1450319-20190926143923404-967427422.png]: /images/20230810/12c1e76628514363889f2dadcf9f2e20.png
[1450319-20190926144437083-1833799495.png]: /images/20230810/9c464d2bc6a14a9091160ea4f148a5f4.png
[1450319-20190926144551555-2086544095.png]: /images/20230810/e1a23f519e024591a7520f6a2e6338e3.png
[1450319-20190926144613567-1739159622.png]: /images/20230810/65e17439b4cf4336b810329e9fb6b246.png
[1450319-20190926144807826-1275210347.png]: /images/20230810/06c08ddca0ae460c9669d2718fbb9fed.png
[1450319-20190926144846748-889444209.png]: /images/20230810/d5de44afd5e84357ba463b6b113304e8.png
[1450319-20190926145942137-158155712.png]: /images/20230810/1e009dd9be5c4554af39a52f03049720.png
[1450319-20190926150000301-675552269.png]: /images/20230810/c65d5450546343efa14b466de1bb3564.png
[1450319-20190926145316670-1135476924.png]: /images/20230810/90544df6c8554c0bb952b84b7c8c030d.png
[1450319-20190926145610158-2067564807.png]: /images/20230810/2dea09ecfec94b83a54e564fa0629b8f.png
[1450319-20190926145723457-1051556583.png]: /images/20230810/708dafc57eeb4d8fa86795e1b7c573ed.png
[1450319-20190926145848568-999743294.png]: /images/20230810/aec1eb52736b4068bf7c4a78c64ff8d7.png
[1450319-20190926153412454-152129996.png]: /images/20230810/262eb8ab60dd4d368d5f521255261f99.png
[1450319-20190926153448683-294034320.png]: /images/20230810/976b6aad8dcd4a95893519930d011882.png
[1450319-20190926153500202-1339847180.png]: /images/20230810/f79f2bf815674b278a8ff86fdad37b7d.png
[1450319-20190926153553388-200361109.png]: /images/20230810/717c4997fdc046938b6f4bae3fa15147.png
[902397dda144ad34da6756f9d6a20cf430ad85f0.jpg]: https://gss3.bdstatic.com/-Po3dSag_xI4khGkpoWK1HF6hhy/baike/pic/item/902397dda144ad34da6756f9d6a20cf430ad85f0.jpg
[a2cc7cd98d1001e9a8aac571be0e7bec54e7973e.jpg]: https://gss1.bdstatic.com/9vo3dSag_xI4khGkpoWK1HF6hhy/baike/pic/item/a2cc7cd98d1001e9a8aac571be0e7bec54e7973e.jpg
[0824ab18972bd407704270837d899e510eb309c2.jpg]: https://gss1.bdstatic.com/-vo3dSag_xI4khGkpoWK1HF6hhy/baike/pic/item/0824ab18972bd407704270837d899e510eb309c2.jpg
[bd315c6034a85edf8d995c5d4f540923dd5475b2.jpg]: https://gss0.bdstatic.com/94o3dSag_xI4khGkpoWK1HF6hhy/baike/pic/item/bd315c6034a85edf8d995c5d4f540923dd5475b2.jpg
[4e4a20a4462309f7c1357d6c740e0cf3d7cad672.jpg]: https://gss1.bdstatic.com/9vo3dSag_xI4khGkpoWK1HF6hhy/baike/pic/item/4e4a20a4462309f7c1357d6c740e0cf3d7cad672.jpg
[d62a6059252dd42a4f5fd1d5053b5bb5c9eab87e.jpg]: https://gss3.bdstatic.com/7Po3dSag_xI4khGkpoWK1HF6hhy/baike/pic/item/d62a6059252dd42a4f5fd1d5053b5bb5c9eab87e.jpg
[1450319-20190926154827346-563692068.png]: /images/20230810/67b616cfdcd8469bb086e6e4da0a67cf.png
[1450319-20190926160232072-1542866118.png]: /images/20230810/9ff31c8823d745b0ac678adb66dac88d.png
[1450319-20190926154903060-1118945787.png]: https://img2018.cnblogs.com/blog/1450319/201909/1450319-20190926154903060-1118945787.png
[1450319-20190926154906784-1521035398.png]: /images/20230810/0e6ad07237e348c39ddff0ad75bf3732.png
[1450319-20190926154913360-1102967012.png]: /images/20230810/4e45715cc60a4bdfa70c030fd679ef42.png
[1450319-20190926160636934-622694768.png]: /images/20230810/9c717ac778454e638f410798de42661d.png
[1450319-20190926160805186-1337717168.png]: /images/20230810/0cf8ed5719304dc3acc2505178bc5088.png
[1450319-20190926161152134-365249815.png]: /images/20230810/f44e867720334a39b383e5f387509968.png