K-means算法简单理解

谁践踏了优雅 2022-12-07 12:05 83阅读 0赞

[参考《吴恩达机器学习》][Link 1]

--------------------

要解释K-means算法，用图像说明再合适不过了。  
假设有这么一个无标签数据集，我想将它分成两簇：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjM3MjE0_size_16_color_FFFFFF_t_70_pic_center]  
现在开始执行K-means算法，具体操作如下：

# 第一步，随机生成两点，这两个点就叫做聚类中心 #

即：下图中红色蓝色两个叉叉  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjM3MjE0_size_16_color_FFFFFF_t_70_pic_center 1]

# 第二步，进入内循环 #

> K-means是一个迭代算法，它每次迭代都会做两件事，一是簇分配，二是移动聚类中心。听不懂没关系，看下面的图就懂了。

### 循环内第一步，进行簇分配 ###

即：遍历每个样本点，看看它是离着红色聚类中心近还是离着蓝的近，若离着红的近就把它归到红色簇中去，反之，离着蓝的近就把它归到蓝色簇中去。像下面这样：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjM3MjE0_size_16_color_FFFFFF_t_70_pic_center 2]

### 循环内第二步，移动聚类中心 ###

即：将两个聚类中心移动到同色的点的均值处（也就是簇的正中央），移动完后就是这样的：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjM3MjE0_size_16_color_FFFFFF_t_70_pic_center 3]  
至此，一个循环里的全部操作就完成了。重复上面两个操作直到两个聚类中心不再移动即可停止循环，聚类成功。

为了更容易理解这个循环到底在做什么，我们接着看下一个循环：

**第二个循环内第一步，进行簇分配**  
还是遍历每个样本点，看看它是离着红色聚类中心近还是离着蓝的近，若离着红的近就把它归到红色簇中去，反之，离着蓝的近就把它归到蓝色簇中去，分配后是这样的：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjM3MjE0_size_16_color_FFFFFF_t_70_pic_center 4]  
**第二个循环内第二步，移动聚类中心**  
将两个聚类中心移动到同色的点的均值处（也就是簇的正中央），移动完后是这样的

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjM3MjE0_size_16_color_FFFFFF_t_70_pic_center 5]  
执行完第二个循环了，如果你还没看明白，那就继续看第三个循环：  
**第三个循环第一步，分配簇：**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjM3MjE0_size_16_color_FFFFFF_t_70_pic_center 6]  
**第三个循环第二步，移动聚类中心：**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjM3MjE0_size_16_color_FFFFFF_t_70_pic_center 7]  
至此，分配簇不会再改变，聚类中心也不会再继续移动了。说明K-means已经聚合了

[Link 1]: https://study.163.com/course/courseLearn.htm?courseId=1004570029#/learn/video?lessonId=1052194133&courseId=1004570029
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjM3MjE0_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/ed0c6bde3f694527a5b6351d0a13a2d2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjM3MjE0_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/959368f9659e4a3a954e9249b87b4c33.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjM3MjE0_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/c851bf1047f4409b92b8623a77cd77b0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjM3MjE0_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/630eccb149be41af888bd175967df90e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjM3MjE0_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221123/c53ca3d47c754a13949401c27fc95284.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjM3MjE0_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221123/d519690fd0b8469780fc56d61cb754eb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjM3MjE0_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221123/7a16b897338c41bbbf35726397891a9c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjM3MjE0_size_16_color_FFFFFF_t_70_pic_center 7]: /images/20221123/69e735b4c4744e58a329285b8cf109ce.png