Spark MLlib聚类代码

偏执的太偏执、 2022-07-16 08:39 144阅读 0赞

部分数据：

1.658985	4.285136
    -3.453687	3.424321
    4.838138	-1.151539
    -5.379713	-3.362104
    0.972564	2.924086
    -3.567919	1.531611
    0.450614	-3.302219
    -3.487105	-1.724432
    2.668759	1.594842
    -3.156485	3.191137
    3.165506	-3.999838
    -2.786837	-3.099354
    4.208187	2.984927

代码：

package workStudy.MLlib
    
    import org.apache.spark.mllib.clustering.KMeans
    import org.apache.spark.mllib.linalg.Vectors
    import org.apache.spark.{SparkConf, SparkContext}
    /**
     * Created by Administrator on 2016/10/11.
     */
    /**
     * 聚类操作
     */
    object day2 {
      def main(args: Array[String]) {
        val conf = new SparkConf()
          .setMaster("local")
          .setAppName("day2")
        val sc = new SparkContext(conf)
        //  val data=MLUtils.loadLibSVMFile(sc,"E://machinedata/KNN/Sparkkmean.txt")
        val data = sc.textFile("E://machinedata/kMeans_demo/testSet.txt") //输入数据集
        val parsedData = data.map(s => Vectors.dense(s.split('\t').map(_.trim.toDouble))).cache() //训练数据
    
        val numClusters = 2 //聚类中心
        val numIterations = 20 //迭代次数
        val model = KMeans.train(parsedData, numClusters, numIterations) //训练模型
        model.clusterCenters.foreach(println) //聚类中心点坐标
      }
    }

运行结果：

[-3.0953906153846154,-2.262190846153846]
    [1.3368722037037037,1.1696492222222223]

发表评论取消回复

表情：

评论列表（有 0 条评论，144人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark MLlib

基本概念 1. 项不项集这是一个集合的概念，在一篮子商品中的一件消费品即一项（item），则若干项的集合为项集，如{啤酒，尿布}构成一个二元项

矫情吗；*/ 2022年12月17日 15:54/ 0 赞/ 163 阅读

相关 Spark MLlib基于K-Means实现数据聚类

Spark MLlib基于K-Means实现数据聚类 K-Means K-Means简介算法实现原则 Spark实现K-Means

浅浅的花香味﹌/ 2022年11月29日 13:03/ 0 赞/ 76 阅读

相关 Spark MLlib 实现音乐推荐代码解

Spark MLlib 实现音乐推荐一、准备数据 1.1 了解数据集 1.2 读取数据 1.

太过爱你忘了你带给我的痛/ 2022年10月17日 01:53/ 0 赞/ 247 阅读

相关 spark/MLlib分类与回归、聚类

二分分类： SVM、逻辑回归、决策树、贝叶斯多类分类：决策树、贝叶斯回归：线性最小二乘法聚类:kmeans、层次法(CURE、CHAMELEON)、网格算法(STI

不念不忘少年蓝@/ 2022年07月31日 15:27/ 0 赞/ 178 阅读

相关 Spark MLlib决策树ID3代码

代码： package workStudy.MLlib import org.apache.spark.mllib.tree.Decisi

川长思鸟来/ 2022年07月16日 09:12/ 0 赞/ 160 阅读

相关 Spark MLlib聚类代码

部分数据： 1.658985 4.285136 -3.453687 3.424321 4.838138 -1.151539 -5.3

偏执的太偏执、/ 2022年07月16日 08:39/ 0 赞/ 145 阅读

相关 Spark MLlib 学习资料

[Spark MLlib ][Spark MLlib] http://blog.csdn.net/sunbow0 http://blog.csdn.net/s

傷城~/ 2022年07月15日 11:41/ 0 赞/ 190 阅读

相关 Spark：聚类算法

Spark：[聚类算法 ][Link 1] Kmeans聚类 KMeans算法的基本思想是初始随机给定K个簇中心，按照最邻近原则把待分类样本点分到各个簇。然后按平均法重

￡神魔★判官ぃ/ 2022年07月14日 02:46/ 0 赞/ 193 阅读

相关 spark mllib和ml类里面的区别

mllib是老的api，里面的模型都是基于RDD的，模型使用的时候api也是有变化的(model这里是naiveBayes)，（1：在模型训练的时候是naiveBayes

骑猪看日落/ 2022年07月11日 04:58/ 0 赞/ 124 阅读

相关 Spark MLlib简介

Spark之所以在机器学习方面具有得天独厚的优势，有以下几点原因：（1）机器学习算法一般都有很多个步骤迭代计算的过程，机器学习的计算需要在多次迭代后获得足够小的误差或者足够

秒速五厘米/ 2022年06月14日 21:16/ 0 赞/ 165 阅读