Log Analysis - DataFrame

柔光的暖阳◎ 2021-12-19 05:37 166阅读 0赞

### **一、获取DataFrame型的日志数据** ###

**1、读入数据：**使用 SparkSession 以文本形式读入日志，数据类型：string

from pyspark.sql import SparkSession
    
    spark = SparkSession \
        .builder \
        .appName("Python Spark Log Analysis") \
        .getOrCreate()
    
    base_df =  spark.read.text(log_file_path)

**2、抽取字段：**pyspark.sql.functions 中 regexp\_extract() 直接从文本抽取所需字段，cast() 对字段定义数据类型， alias() 对字段命名。

**3、数据清洗：**isNull() 判断抽取内容是否为空（Null）， pyspark.sql.functions 中 col ，sum函数统计各列缺失个数，filter() 过滤满足现有正则表达式的数据 df.rlike()，判断缺失数据，可使用 fillna() 进行填充。

**4、解析日期：**① 自定义一个转化函数，将时间字符串转化为格式为：\[dd/mmm/yyyy:hh:mm:ss (+/-)zzzz\] 的字符串，② 使用** **pyspark.sql.functions 中 udf() 函数注册 udf ，将转化的列改为时间戳类型。

### 二、日志分析 ###

DataFrame型的数据，可以使用 pyspark.sql.functions 模块内的函数对数据进行分析，也可以与 pandas dataframe 公用许多方法。

分析内容与RDD版相似。

常用方法：

*  withColumn() 增加列，withColumnRenamed() 对列重命名
 *  做可视化，toPandas() 先将结果由 spark DataFrame 转成 pandas DataFrame，之后使用 matplotlib 绘图
 *  groupBy() 对数据分组聚合

转载于:https://www.cnblogs.com/colorfulday/p/10854294.html

Log Analysis - DataFrame

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关 oracle-analysis

相关 dataFrame排序(dataframe排序)

相关 workbench environment analysis----directly saved analysis after

相关 elasticsearch-analysis-ik

相关 Technical Analysis: Taxonomy

相关 Elasticsearch（三）Analysis

相关 Servlet Analysis

相关 Log Analysis - DataFrame

相关 Elasticsearch 分析（Analysis）

相关【ES插件】analysis-icu和analysis-kuromoji