安装pyspark kernel

小灰灰 2024-01-18 06:24 168阅读 0赞

#### 编辑 ####

mkdir ~/.ipython/kernels/pyspark
    vim ~/.ipython/kernels/pyspark/kernel.json

#### kernel.json 内容 ####

{
     "display_name": "pySpark",
     "language": "python",
     "argv": [
      "/var/local/anaconda2/bin/python",
      "-m",
      "IPython.kernel",
      "-f",
      "{connection_file}"
     ],
     "env": {
      "JAVA_HOME": "/opt/jdk8",
      "SPARK_HOME": "/usr/hdp/3.0.1.0-187/spark2",
      "PYTHONPATH": "/usr/hdp/3.0.1.0-187/spark2/python:/usr/hdp/3.0.1.0-187/spark2/python/lib/py4j-0.10.7-src.zip",
      "PYTHONSTARTUP": "/usr/hdp/3.0.1.0-187/spark2/python/pyspark/shell.py ",
      "PYSPARK_SUBMIT_ARGS": "pyspark-shell"
     }
    }

#### 实验验证 ####

import os
    #os.environ['SPARK_HOME']='/usr/hdp/3.0.1.0-187/spark2/'
    #os.environ['JAVA_HOME']='/opt/jdk8'
    
    
    from pyspark import SparkContext, SparkConf
    # #Spark Config
    conf=SparkConf().setAppName("testspark").setMaster("spark://10.244.0.29:7077")
    sc = SparkContext(conf=conf)
    
    text_file = sc.textFile("hdfs:///root/test/spark/test.txt")
    
    counts = text_file.flatMap(lambda line: line.split(" ")) \
                 .map(lambda word: (word, 1)) \
                 .reduceByKey(lambda a, b: a + b)
    
    print counts

发表评论取消回复

表情：

评论列表（有 0 条评论，168人围观）

还没有评论，来说两句吧...

相关阅读

相关安装pyspark kernel

编辑 mkdir ~/.ipython/kernels/pyspark vim ~/.ipython/kernels/pyspark/kernel.jso

小灰灰/ 2024年01月18日 06:24/ 0 赞/ 169 阅读

相关【Python】PySpark 数据处理 ② ( 安装 PySpark | PySpark 数据处理步骤 | 构建 PySpark 执行环境入口对象 )

文章目录一、安装 PySpark 1、使用 pip 安装 PySpark 2、国内代理镜像 3、PyCharm 中安装 P

雨点打透心脏的1/2处/ 2023年10月14日 09:43/ 0 赞/ 48 阅读

相关 pyspark安装教程

pyspark安装教程一、Windows下配置pyspark环境 1.1 JDK下载安装 1.2 Scala下载安

不念不忘少年蓝@/ 2023年10月12日 14:48/ 0 赞/ 6 阅读

相关 pyspark系列2-linux安装pyspark

文章目录一.安装Java和Scale 1.1 安装java 1.2 安装Scala 1.2.1 安装

Dear 丶/ 2023年01月17日 02:28/ 0 赞/ 192 阅读

相关 pyspark安装

详细安装见参考： http://blog.csdn.net/yiyouxian/article/details/51020334 htt

我不是女神ヾ/ 2022年06月09日 05:49/ 0 赞/ 264 阅读

相关 Ubuntu下安装pyspark

Ubuntu下安装pyspark 安装环境 Python2.7 Ubuntu14.04 Java6

待我称王封你为后i/ 2022年06月02日 07:43/ 0 赞/ 649 阅读

相关 pyspark系列--连接pyspark

目录 1. 连接spark 1.1. 简单连接spark 1.2. 连接spark集群 1.3.

小鱼儿/ 2022年05月29日 12:40/ 0 赞/ 283 阅读

相关 pyspark

本文主要介绍python如何通过pyspark的API操作spark Spark安装略，下载解压配置下就OK 我使用的是spark-2.2.0-bin-hadoop2.

分手后的思念是犯贱/ 2022年05月29日 00:38/ 0 赞/ 292 阅读

相关 intellij idea 安装pyspark，查看pyspark源码

file -project structure-SDKs-点击+号-输入pyspark ![70][] [70]: /images/20220516/42b20a7937

￡神魔★判官ぃ/ 2022年05月16日 13:11/ 0 赞/ 344 阅读

相关 PySpark安装和测试

简述先简单把流程过一遍，大家根据自己水平来看就好了。 1. java的版本一定要安装到java8，高版本也不行，低版本也不行。 2. 安装Hadoop：[http

冷不防/ 2021年12月19日 03:25/ 0 赞/ 283 阅读