8天Python从入门到精通第十五章 PySpark案例实战 15.6 综合案例

朴灿烈づ我的快乐病毒、 2024-03-27 15:03 17阅读 0赞

#### 8天Python从入门到精通 ####

[【黑马程序员python教程，8天python从入门到精通，学python看这套就够了】][python_8_python_python]

#### 文章目录 ####

*   *   *  8天Python从入门到精通
         *  第十五章 PySpark案例实战
         *   *  15.6 综合案例
             *   *  15.6.1 搜索引擎日志分析

#### 第十五章 PySpark案例实战 ####

##### 15.6 综合案例 #####

###### 15.6.1 搜索引擎日志分析 ######

![在这里插入图片描述][e915519cac2f4ed29e5c9663021c6bf5.png_pic_center]

![在这里插入图片描述][8c6152f2e0e2447bb074f914b04476d8.png_pic_center]

读取文件转换成RDD，并完成：

*  打印输出：热门搜索时间段（小时精度）Top3
 *  打印输出：热门搜索词Top3
 *  打印输出：统计黑马程序员关键字在哪个时段被搜索最多
 *  将数据转换为JSON格式，写出为文件

from pyspark import SparkConf, SparkContext
    import os
    
    os.environ['PYSPARK_PYTHON'] = "D:/Develop/Python/python3.10.9/python.exe"
    os.environ['HADOOP_HOME'] = "D:/Develop/hadoop-3.0.0"
    conf = SparkConf().setMaster("local[*]").setAppName("test_spark")
    conf.set("spark.default.parallelism", "1")
    sc = SparkContext(conf=conf)
    
    file_rdd = sc.textFile("search_log.txt")
    
    result1 = file_rdd.map(lambda x: (x.split("\t")[0][:2], 1)). \
        reduceByKey(lambda a, b: a + b). \
        sortBy(lambda x: x[1], ascending=False, numPartitions=1). \
        take(3)
    
    print("热门搜索时间段Top3: ", result1)
    
    result2 = file_rdd.map(lambda x: (x.split("\t")[2], 1)). \
        reduceByKey(lambda a, b: a + b). \
        sortBy(lambda x: x[1], ascending=False, numPartitions=1). \
        take(3)
    
    print("热门搜索词Top3: ", result2)
    
    result3 = file_rdd.map(lambda x: x.split("\t")). \
        filter(lambda x: x[2] == '黑马程序员'). \
        map(lambda x: (x[0][:2], 1)). \
        reduceByKey(lambda a, b: a + b). \
        sortBy(lambda x: x[1], ascending=False, numPartitions=1). \
        take(1)
    
    print("黑马程序员在什么时段被搜索的最多: ", result3)
    
    file_rdd.map(lambda x: x.split("\t")). \
        map(lambda x: {
        "time": x[0], "user_id": x[1], "key_word": x[2], "rank1": x[3], "rank2": x[4], "url": x[5]}). \
        saveAsTextFile("D:/output_json")
    
    sc.stop()

运行结果

![在这里插入图片描述][8081642ef6754c4ca8e3ea254a869b32.png_pic_center]

[python_8_python_python]: https://www.bilibili.com/video/BV1qW4y1a7fU
[e915519cac2f4ed29e5c9663021c6bf5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/9e74b3faf4e54c459e7841c7b34ca6f5.png
[8c6152f2e0e2447bb074f914b04476d8.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/eba8a87a7314432cb090f4916a6d8df7.png
[8081642ef6754c4ca8e3ea254a869b32.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/e3fa36b060d24a899f83a0b6a918cf1a.png