【机器学习】无监督学习系列-python实战

冷不防 2022-09-10 09:24 227阅读 0赞

**转自：ChallengeHub**

**A.监督学习**

*  1.EDA（Exploratory Data Analysis）
 *  2.K-Nearest Neighbors（KNN）
 *  3.线性回归
 *  4.交叉验证（CV）
 *  5.正则化回归
 *  6.ROC曲线与逻辑回归
 *  7.超参数调优
 *  8.SVM

**B.无监督学习**

*  1.Kmeans聚类
 *  2.聚类效果评价
 *  3.标准化
 *  4.层次分析法
 *  5.T-分布随机近邻嵌入(T-SNE)
 *  6.主成分分析（PCA）

# 监督学习 #

可以查看机器学习全面教程-有监督学习篇

# 无监督学习 #

*  **无监督学习**: 它使用无标记的数据，并从无标记的数据中发现隐藏的模式信息。例如，有些骨科病人数据没有标签，你不知道哪个骨科病人是正常的，哪个是不正常的。

## 1.Kmeans聚类 ##

*  让我们尝试我们的第一个无监督的方法，即KMeans Cluster
 *  KMeans聚类:该算法基于所提供的特征迭代地将每个数据点分配给K组中的一个。基于特征相似性对数据点进行聚类
 *  KMeans(n\_clusters = 2): n\_clusters = 2表示创建2个簇群

先看数据的分布

# As you can see there is no labels in data
    data = pd.read_csv('column_2C_weka.csv')
    plt.scatter(data['pelvic_radius'],data['degree_spondylolisthesis'])
    plt.xlabel('pelvic_radius')
    plt.ylabel('degree_spondylolisthesis')
    plt.show()

![bd3464b14e2a17d2550358b246f093a9.png][]

再看通过Kmeans聚类分类效果

# KMeans Clustering
    data2 = data.loc[:,['degree_spondylolisthesis','pelvic_radius']]
    from sklearn.cluster import KMeans
    kmeans = KMeans(n_clusters = 2)
    kmeans.fit(data2)
    labels = kmeans.predict(data2)
    plt.scatter(data['pelvic_radius'],data['degree_spondylolisthesis'],c = labels)
    plt.xlabel('pelvic_radius')
    plt.xlabel('degree_spondylolisthesis')
    plt.show()

![be84d59eff7c81c5b029d2b084f2c815.png][]

## 2.聚类效果评价 ##

我们把数据分成两组。这是正确的聚类吗? 为了评估聚类效果，我们将使用交叉表。

*  有两个集群，分别是0和1
 *  标签0包括138例异常患者和100例正常患者
 *  标签1包括72例异常患者和0例正常患者
 *  两个簇群中大多数为异常患者。

# cross tabulation table
    df = pd.DataFrame({'labels':labels,"class":data['class']})
    ct = pd.crosstab(df['labels'],df['class'])
    print(ct)

![7d277713d38bf30c3d57aeaf5e932e4a.png][]

上面存在一个问题是，我们事先知道了数据中是几分类问题，但是如果不知道呢? 那这有点像KNN或回归中的超参数问题了。

*  inertia:簇群与每个样本之间的距离
 *  更小的inertia意味着更多的簇
 *  簇群的最佳数量是多少?
 *  更小的inertia，没有太多的簇群平衡，所以我们可以选择elbow

# inertia
    inertia_list = np.empty(8)
    for i in range(1,8):
        kmeans = KMeans(n_clusters=i)
        kmeans.fit(data2)
        inertia_list[i] = kmeans.inertia_
    plt.plot(range(0,8),inertia_list,'-o')
    plt.xlabel('Number of cluster')
    plt.ylabel('Inertia')
    plt.show()

![dd46a739a51551ac4d5bc08810b7e14f.png][]

## 3.标准化 ##

*  标准化对于监督学习和非监督学习都很重要，可以消除量纲影响

from sklearn.preprocessing import StandardScaler
    from sklearn.pipeline import make_pipeline
    scalar = StandardScaler()
    kmeans = KMeans(n_clusters = 2)
    pipe = make_pipeline(scalar,kmeans)
    pipe.fit(data3)
    labels = pipe.predict(data3)
    df = pd.DataFrame({'labels':labels,"class":data['class']})
    ct = pd.crosstab(df['labels'],df['class'])
    print(ct)

![237d7da53886f3d2c1d39e4c5b3da22e.png][]

## 4.层次分析法 ##

*  竖线是簇
 *  树状图高度: 归并簇之间的距离
 *  方法= 'single': 表示簇的最近点

from scipy.cluster.hierarchy import linkage,dendrogram
    
    merg = linkage(data3.iloc[200:220,:],method = 'single')
    dendrogram(merg, leaf_rotation = 90, leaf_font_size = 6)
    plt.show()

![7def212de2d3d67a88f3672d79e1392b.png][]

# 5.T-SNE #

*  学习率:正常情况下50-200
 *  T-sne只有fit\_transform

from sklearn.manifold import TSNE
    model = TSNE(learning_rate=100)
    transformed = model.fit_transform(data2)
    x = transformed[:,0]
    y = transformed[:,1]
    plt.scatter(x,y,c = color_list )
    plt.xlabel('pelvic_radius')
    plt.xlabel('degree_spondylolisthesis')
    plt.show()

![d3bb4e9c649918898181374c49e611a2.png][]

## 6.PCA ##

*  基本的降维技术
 *  第一步是去相关:
 *   *  旋转数据样本以使其与轴对齐
     *  移动数据样本，使其均值为零
     *  没有信息丢失
     *  Fit():学习如何移动样本
     *  Transform():应用学到的转换。也可以应用测试集
 *  由此产生的PCA特征不是线性相关的
 *  主成分:是方差方向

# PCA
    from sklearn.decomposition import PCA
    model = PCA()
    model.fit(data3)
    transformed = model.transform(data3)
    print('Principle components: ',model.components_)

![8a1315d095d31202b397c6ad68c70764.png][]

# PCA variance
    scaler = StandardScaler()
    pca = PCA()
    pipeline = make_pipeline(scaler,pca)
    pipeline.fit(data3)
    
    plt.bar(range(pca.n_components_), pca.explained_variance_)
    plt.xlabel('PCA feature')
    plt.ylabel('variance')
    plt.show()

![fd1644a083a6e383ce6022d77df854dc.png][]

*  第二步:内在维度: 需要特征数量来近似数据背后的基本思想
 *  当样本具有任意数量的特征时，主成分分析识别内在维数
 *  内在维度 = 具有显著方差的PCA特征的数量
 *  为了选择内在维度，尝试所有的方法并找到最佳的精度

# apply PCA
    pca = PCA(n_components = 2)
    pca.fit(data3)
    transformed = pca.transform(data3)
    x = transformed[:,0]
    y = transformed[:,1]
    plt.scatter(x,y,c = color_list)
    plt.show()

![71be1ff177e46bf1a0440d8aec6897cb.png][]

**建议阅读：**

**[高考失利之后，属于我的大学本科四年][Link 1]**

[**【资源分享】对于时间序列，你所能做的一切.**][.]

[**【时空序列预测第一篇】什么是时空序列问题？这类问题主要应用了哪些模型？主要应用在哪些领域？**][Link 2]

[**【AI蜗牛车出品】手把手AI项目、时空序列、时间序列、白话机器学习、pytorch修炼**][AI_AI_pytorch]

公众号：AI蜗牛车
    
    保持谦逊、保持自律、保持进步
    
    
    
    个人微信
    备注：昵称+学校/公司+方向
    如果没有备注不拉群！
    拉你进AI蜗牛车交流群

[bd3464b14e2a17d2550358b246f093a9.png]: /images/20220829/16d19933b363409a848061a8e0d61d5c.png
[be84d59eff7c81c5b029d2b084f2c815.png]: /images/20220829/8563909f06d049069d05c0b4313d0385.png
[7d277713d38bf30c3d57aeaf5e932e4a.png]: /images/20220829/e00b9e9cc9b34b6e97410fd24d75ad44.png
[dd46a739a51551ac4d5bc08810b7e14f.png]: /images/20220829/c275ad8f0fb44e7fb020009d13786f0c.png
[237d7da53886f3d2c1d39e4c5b3da22e.png]: /images/20220829/0cc3e3cd888b45988bbfc60572b3b921.png
[7def212de2d3d67a88f3672d79e1392b.png]: /images/20220829/5ae0a428108646819dd56d81448263fa.png
[d3bb4e9c649918898181374c49e611a2.png]: /images/20220829/e8ddc08b5f644c809525df1f44da248d.png
[8a1315d095d31202b397c6ad68c70764.png]: /images/20220829/190b9733c7cb48d7858a1f8d70794685.png
[fd1644a083a6e383ce6022d77df854dc.png]: /images/20220829/018ddb4640974216ae56e77521d93c2a.png
[71be1ff177e46bf1a0440d8aec6897cb.png]: /images/20220829/36d780dff4044f089c4f4dffb67939fd.png
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzA4ODUxNjUzMQ%3D%3D&chksm=9029a749a75e2e5fde587cf68ab729deaa3a6c2ec952e288af747c1591df1416c24c9a9bcd1a&idx=1&mid=2247488917&scene=21&sn=6b0a24a219f861bd146366b25f710beb#wechat_redirect
[.]: http://mp.weixin.qq.com/s?__biz=MzA4ODUxNjUzMQ%3D%3D&chksm=9029b4cda75e3ddb7cb31a55ed528f386b3adcba3a077d6344f4c868f19bac1185a58cb262f8&idx=1&mid=2247484945&scene=21&sn=d3b302099848ad3549a395750b9da2bf#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzA4ODUxNjUzMQ%3D%3D&chksm=9029b7fba75e3eed7d9e647994cae086ee483c1e55d386a92d385e3648f0ce715097f2c33a62&idx=1&mid=2247484711&scene=21&sn=c4187946d58e277a45512d3146d4f062#wechat_redirect
[AI_AI_pytorch]: http://mp.weixin.qq.com/s?__biz=MzA4ODUxNjUzMQ%3D%3D&chksm=9029afcba75e26dd76bd9263b4cf22a9ef3e1538f90008bc64867f52a7b2705bdeaf526d4b37&idx=1&mid=2247490839&scene=21&sn=d9d0a9fad6efb225a92deafd80a2838d#wechat_redirect