本地提交spark,Spark提交无法找到本地文件

叁歲伎倆 2022-08-30 11:16 200阅读 0赞

![Image 1][]

I've written a very simple python script for testing my spark streaming idea, and plan to run it on my local machine to mess around a little bit. Here is the command line:

spark-submit spark\_streaming.py localhost 9999

But the terminal threw me an error:

Error executing Jupyter command '': \[Errno 2\] No such file or directory

I have no idea why this would happen, and I'm sure the .py file does exist.

EDIT: there's no issue running it with python instead of spark-submit

And also, the lines added in the .bashrc file:

export PATH="/usr/local/spark/bin:$PATH"

export PYSPARK\_DRIVER\_PYTHON=jupyter

export PYSPARK\_DRIVER\_PYTHON\_OPTS='notebook'

export SPARK\_LOCAL\_IP=localhost

解决方案

Supposing you want to spark-submit to YARN a Python script located at /home/user/scripts/spark\_streaming.py, the correct syntax is as follows:

spark-submit --master yarn --deploy-mode client /home/user/scripts/spark\_streaming.py

You can interchange the ordering of the various flags, but the script itself must be at the end; if your script accepts arguments, they should follow the script name (e.g. see this example for calculating pi with 10 decimal digits).

For executing locally with, say, 2 cores, you should use --master local\[2\] - use --master local\[\*\] for all available local cores (no deploy-mode flag in both cases).

Check the docs for more info (although admittedly they are rather poor in pyspark demonstrations).

PS The mention of Jupyter, as well the path shown in your error message are extremely puzzling...

UPDATE: Seems that PYSPARK\_DRIVER\_PYTHON=jupyter messes up everything, funneling the execution through Jupyter (which is undesirable here, and it may explain the weird error message). Try modifying the environment variables in your .bashrc as follows:

export SPARK\_HOME="/usr/local/spark" \# do not include /bin

export PYSPARK\_PYTHON=python

export PYSPARK\_DRIVER\_PYTHON=python

export PYSPARK\_DRIVER\_PYTHON\_OPTS=""

and source .bashrc.

[Image 1]:

发表评论取消回复

表情：

评论列表（有 0 条评论，200人围观）

还没有评论，来说两句吧...

相关阅读

相关 git：本地提交

git commit 理论 git 仓库中的提交记录保存的是你目录下所有文件的快照 git 希望提交记录尽可能轻量，因此你每次提交时，它并不会盲目的复制

系统管理员/ 2022年10月25日 15:23/ 0 赞/ 207 阅读

相关本地提交spark,Spark提交无法找到本地文件

![Image 1][] I've written a very simple python script for testing my spark streaming id

叁歲伎倆/ 2022年08月30日 11:16/ 0 赞/ 201 阅读

相关本地项目提交到tortoise git

1、首先在git服务器上创建一个项目，给用户分配好权限 2、在project的目录下，右键，git create repository here ![这里写图片描述][

港控/mmm°/ 2022年06月07日 05:42/ 0 赞/ 228 阅读

相关 Git 提交本地工程到服务器

提交本地工程到服务器 1.首先在git服务器上创建初始项目，并记录ssh地址如：[https://github.com/zfy1355/presst-test.g

落日映苍穹つ/ 2022年06月05日 10:13/ 0 赞/ 197 阅读

相关 github提交本地代码方法

首先你得先创建仓库 ![583064-20170406175126160-2067140588.png][] ![70][] 为仓库取一个名字，然后点击创

忘是亡心i/ 2022年05月31日 06:13/ 0 赞/ 289 阅读

相关 GitHub提交本地代码

下载git 下载git https://git-scm.com/download/win 注册github账户 https://github.com/join?so

阳光穿透心脏的1/2处/ 2022年03月06日 10:33/ 0 赞/ 464 阅读

相关 git：本地提交到gitlab

一、安装git [https://git-scm.com/downloads][https_git-scm.com_downloads] 二、新建工程 a、步骤

逃离我推掉我的手/ 2022年02月17日 11:06/ 0 赞/ 273 阅读

相关提交本地代码到GitHub中

1、先在本地提交代码 git init git add . git commit -m "初始化提交" 2、在GitHub

落日映苍穹つ/ 2021年09月28日 15:58/ 0 赞/ 377 阅读

相关提交本地修改的代码

phone工程项目里面有一个 call\_sip文件夹右键—》git bash here ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5n

亦凉/ 2021年08月31日 08:03/ 0 赞/ 385 阅读

相关 hadoop在eclipse本地提交任务

我们为了开发调试方便，编写的代码需要在本地进行调试好之后再到服务器上运行。运行在本地需要在本地安装hadoop环境。针对hadoop安装本地，需要更换bin路径下的文件为w

男娘i/ 2021年07月26日 02:38/ 0 赞/ 369 阅读