Spark机器学习API之特征处理

以你之姓@ 2022-10-08 05:53 150阅读 0赞

关键字：spark、机器学习、特征处理、特征选择

**      Spark机器学习库中包含了两种实现方式：**

*  **一种是spark.mllib，这种是基础的API，基于RDDs之上构建，**
 *  **另一种是spark.ml，这种是higher-level API，基于DataFrames之上构建，spark.ml使用起来比较方便和灵活。**

**     Spark机器学习中关于特征处理的API主要包含三个方面：特征提取、特征转换与特征选择。本文通过例子介绍和学习Spark.ml中提供的关于特征处理API中的特征选择（Feature Selectors）部分。**

## 1、特征选择（Feature Selectors） ##

### 1.1、VectorSlicer ###

VectorSlicer用于从原来的特征向量中切割一部分，形成新的特征向量，比如，原来的特征向量长度为10，我们希望切割其中的5~10作为新的特征向量，使用VectorSlicer可以快速实现。

### 1.2、RFormula ###

RFormula用于将数据中的字段通过R语言的Model Formulae转换成特征值，输出结果为一个特征向量和Double类型的label。关于R语言Model Formulae的介绍可参考：[https://stat.ethz.ch/R-manual/R-devel/library/stats/html/formula.html][https_stat.ethz.ch_R-manual_R-devel_library_stats_html_formula.html]

### 1.3、ChiSqSelector ###

ChiSqSelector用于使用卡方检验来选择特征（降维）。

## 2、示例代码 ##

import org.apache.log4j.{Level, Logger}
    import org.apache.spark.SparkConf
    import org.apache.spark.SparkContext
    import org.apache.spark.ml.attribute.{Attribute, AttributeGroup, NumericAttribute}
    import org.apache.spark.ml.feature.{ChiSqSelector, RFormula, VectorSlicer}
    import org.apache.spark.ml.linalg.Vectors
    import org.apache.spark.sql.Row
    import org.apache.spark.sql.types.StructType
    /**
     * @class TestFeatureSelect
     * @author yyz
     * @date 2021/06/20 18:33
     * */
    object TestFeatureSelect {
      def main(args : Array[String]) {
        Logger.getLogger("org").setLevel(Level.OFF)
    
    
        val conf = new SparkConf().setMaster("local").setAppName("localTestFeatureSelectors")
        val sc = new SparkContext(conf)
    
        val sqlContext = new org.apache.spark.sql.SQLContext(sc)
        import sqlContext.implicits._
    
        println("方法一、VectorSlicer用于从原来的特征向量中切割一部分，形成新的特征向量")
        //方法一、VectorSlicer用于从原来的特征向量中切割一部分，形成新的特征向量，比如，原来的特征向量长度为10，我们希望切割其中的5~10作为新的特征向量，使用VectorSlicer可以快速实现。
        //构造特征数组
        val data = Array(Row(Vectors.dense(-2.0, 2.3, 0.0)))
    
        //为特征数组设置属性名（字段名），分别为f1 f2 f3
        val defaultAttr = NumericAttribute.defaultAttr
        val attrs = Array("f1", "f2", "f3").map(defaultAttr.withName)
        val attrGroup = new AttributeGroup("userFeatures", attrs.asInstanceOf[Array[Attribute]])
    
        //构造DataFrame
        val dataRDD = sc.parallelize(data)
        val dataset = sqlContext.createDataFrame(dataRDD, StructType(Array(attrGroup.toStructField())))
    
        print("原始特征：")
        dataRDD.foreach(println)
    
        //构造切割器
        var slicer = new VectorSlicer().setInputCol("userFeatures").setOutputCol("features")
    
        //根据索引号，截取原始特征向量的第1列和第3列
        slicer.setIndices(Array(0,2))
        print("output1: ")
        println(slicer.transform(dataset).select("userFeatures", "features").first())
    
        //根据字段名，截取原始特征向量的f2和f3
        slicer = new VectorSlicer().setInputCol("userFeatures").setOutputCol("features")
        slicer.setNames(Array("f2","f3"))
        print("output2: ")
        println(slicer.transform(dataset).select("userFeatures", "features").first())
    
        //索引号和字段名也可以组合使用，截取原始特征向量的第1列和f2
        slicer = new VectorSlicer().setInputCol("userFeatures").setOutputCol("features")
        slicer.setIndices(Array(0)).setNames(Array("f2"))
        print("output3: ")
        println(slicer.transform(dataset).select("userFeatures", "features").first())
        println("")
    
        println("方法二、RFormula用于将数据中的字段通过R语言的Model Formulae转换成特征值，输出结果为一个特征向量和Double类型的label")
        //方法二、RFormula用于将数据中的字段通过R语言的Model Formulae转换成特征值，输出结果为一个特征向量和Double类型的label。关于R语言Model Formulae的介绍可参考：https://stat.ethz.ch/R-manual/R-devel/library/stats/html/formula.html
        //构造数据集
        val dataset1 = sqlContext.createDataFrame(Seq(
          (7, "US", 18, 1.0),
          (8, "CA", 12, 0.0),
          (9, "NZ", 15, 0.0)
        )).toDF("id", "country", "hour", "clicked")
        dataset1.select("id", "country", "hour", "clicked").show()
    
        //当需要通过country和hour来预测clicked时候，
        //构造RFormula，指定Formula表达式为clicked ~ country + hour
        val formula = new RFormula().setFormula("clicked ~ country + hour").setFeaturesCol("features").setLabelCol("label")
        //生成特征向量及label
        val output = formula.fit(dataset1).transform(dataset1)
        output.select("id", "country", "hour", "clicked", "features", "label").show()
    
        println("方法三、ChiSqSelector用于使用卡方检验来选择特征（降维）")
        //方法三、ChiSqSelector用于使用卡方检验来选择特征（降维）
        //构造数据集
        val data11 = Seq(
          (7, Vectors.dense(0.0, 0.0, 18.0, 1.0), 1.0),
          (8, Vectors.dense(0.0, 1.0, 12.0, 0.0), 0.0),
          (9, Vectors.dense(1.0, 0.0, 15.0, 0.1), 0.0)
        )
        val df = sc.parallelize(data11).toDF("id", "features", "clicked")
        df.select("id", "features","clicked").show()
    
        //使用卡方检验，将原始特征向量（特征数为4）降维（特征数为3）
        val selector = new ChiSqSelector().setNumTopFeatures(3).setFeaturesCol("features").setLabelCol("clicked").setOutputCol("selectedFeatures")
    
        val result = selector.fit(df).transform(df)
        result.show()
      }
    
    }

## 3、输出结果 ##

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
    方法一、VectorSlicer用于从原来的特征向量中切割一部分，形成新的特征向量
    原始特征：[[-2.0,2.3,0.0]]
    output1: [[-2.0,2.3,0.0],[-2.0,0.0]]
    output2: [[-2.0,2.3,0.0],[2.3,0.0]]
    output3: [[-2.0,2.3,0.0],[-2.0,2.3]]
    
    方法二、RFormula用于将数据中的字段通过R语言的Model Formulae转换成特征值，输出结果为一个特征向量和Double类型的label
    +---+-------+----+-------+
    | id|country|hour|clicked|
    +---+-------+----+-------+
    |  7|     US|  18|    1.0|
    |  8|     CA|  12|    0.0|
    |  9|     NZ|  15|    0.0|
    +---+-------+----+-------+
    
    +---+-------+----+-------+--------------+-----+
    | id|country|hour|clicked|      features|label|
    +---+-------+----+-------+--------------+-----+
    |  7|     US|  18|    1.0|[0.0,0.0,18.0]|  1.0|
    |  8|     CA|  12|    0.0|[1.0,0.0,12.0]|  0.0|
    |  9|     NZ|  15|    0.0|[0.0,1.0,15.0]|  0.0|
    +---+-------+----+-------+--------------+-----+
    
    方法三、ChiSqSelector用于使用卡方检验来选择特征（降维）
    +---+------------------+-------+
    | id|          features|clicked|
    +---+------------------+-------+
    |  7|[0.0,0.0,18.0,1.0]|    1.0|
    |  8|[0.0,1.0,12.0,0.0]|    0.0|
    |  9|[1.0,0.0,15.0,0.1]|    0.0|
    +---+------------------+-------+
    
    +---+------------------+-------+----------------+
    | id|          features|clicked|selectedFeatures|
    +---+------------------+-------+----------------+
    |  7|[0.0,0.0,18.0,1.0]|    1.0|  [0.0,18.0,1.0]|
    |  8|[0.0,1.0,12.0,0.0]|    0.0|  [0.0,12.0,0.0]|
    |  9|[1.0,0.0,15.0,0.1]|    0.0|  [1.0,15.0,0.1]|
    +---+------------------+-------+----------------+
    
    
    Process finished with exit code 0

[https_stat.ethz.ch_R-manual_R-devel_library_stats_html_formula.html]: https://stat.ethz.ch/R-manual/R-devel/library/stats/html/formula.html