Jupyter notebook运行Spark+Scala教程

以你之姓@ 2022-11-07 04:29 412阅读 0赞

关注公众号：***宏睿时空***  获取最新最好的资料

这篇文章主要介绍了Jupyter notebook运行Spark+Scala教程，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

今天在intellij调试spark的时候感觉每次有新的一段代码，都要重新跑一遍，如果用spark-shell，感觉也不是特别方便，如果能像python那样，使用jupyter notebook进行编程就很方便了，同时也适合代码展示，网上查了一下，试了一下，碰到了很多坑，有些是旧的版本，还有些是版本不同导致错误，这里就记录下来安装的过程。

**1.运行环境**

硬件：Mac

事先装好：Jupyter notebook，spark2.1.0，scala 2.11.8 (这个版本很重要，关系到后面的安装）

**2.安装**

2.1.scala kernel

从github下载

> git clone https://github.com/jupyter-scala/jupyter-scala.git

进入下载的jupyter-scala目录下，运行

> bash jupyter-scala

然后查看

> jupyter kernelspec list

![2396cf6f072866b123b47defe8b63af4.png][]

表示scala已经嵌入到jupyter notebook

2.2.spark kernel

这个也比较好装，但是要注意版本问题，我们用的是toree来装的，首先要安装toree

网上的教程通常直接

> pip install toree

但是这个下载的是0.1.0版本，该版本的话问题是，后面装spark kernel后，在jupyter运行spark的时候，默认选的是scala2.10.4版本，会有以下的错误

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 </td> 
 <td> <code>[I </code><code>03</code><code>:</code><code>15</code><code>:</code><code>16.677</code> <code>NotebookApp] Kernel started: </code><code>94a63354</code><code>-</code><code>d294</code><code>-</code><code>4de7</code><code>-</code><code>a12c</code><code>-</code><code>2e05905e0c45</code> <code>Starting Spark Kernel with SPARK_HOME</code><code>=</code><code>/</code><code>usr</code><code>/</code><code>local</code><code>/</code><code>spark</code> <code>16</code><code>/</code><code>11</code><code>/</code><code>20</code> <code>03</code><code>:</code><code>15</code><code>:</code><code>18</code> <code>[INFO] o.a.t.Main$$anon$</code><code>1</code> <code>-</code> <code>Kernel version: </code><code>0.1</code><code>.</code><code>0.dev8</code><code>-</code><code>incubating</code><code>-</code><code>SNAPSHOT</code> <code>16</code><code>/</code><code>11</code><code>/</code><code>20</code> <code>03</code><code>:</code><code>15</code><code>:</code><code>18</code> <code>[INFO] o.a.t.Main$$anon$</code><code>1</code> <code>-</code> <code>Scala version: Some(</code><code>2.10</code><code>.</code><code>4</code><code>)</code> <code>16</code><code>/</code><code>11</code><code>/</code><code>20</code> <code>03</code><code>:</code><code>15</code><code>:</code><code>18</code> <code>[INFO] o.a.t.Main$$anon$</code><code>1</code> <code>-</code> <code>ZeroMQ (JeroMQ) version: </code><code>3.2</code><code>.</code><code>2</code> <code>16</code><code>/</code><code>11</code><code>/</code><code>20</code> <code>03</code><code>:</code><code>15</code><code>:</code><code>18</code> <code>[INFO] o.a.t.Main$$anon$</code><code>1</code> <code>-</code> <code>Initializing internal actor system</code> <code>Exception </code><code>in</code> <code>thread </code><code>"main"</code> <code>java.lang.NoSuchMethodError: scala.collection.immutable.HashSet$.empty()Lscala</code><code>/</code><code>collection</code><code>/</code><code>immutable</code><code>/</code><code>HashSet;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>at akka.actor.ActorCell$.&lt;init&gt;(ActorCell.scala:</code><code>336</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>at akka.actor.ActorCell$.&lt;clinit&gt;(ActorCell.scala)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>at akka.actor.RootActorPath.$div(ActorPath.scala:</code><code>185</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>at akka.actor.LocalActorRefProvider.&lt;init&gt;(ActorRefProvider.scala:</code><code>465</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>at akka.actor.LocalActorRefProvider.&lt;init&gt;(ActorRefProvider.scala:</code><code>453</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:</code><code>62</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:</code><code>45</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>at java.lang.reflect.Constructor.newInstance(Constructor.java:</code><code>423</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>at akka.actor.ReflectiveDynamicAccess$$anonfun$createInstanceFor$</code><code>2.apply</code><code>(DynamicAccess.scala:</code><code>78</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>at scala.util.Try$.</code><code>apply</code><code>(Try.scala:</code><code>192</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>at akka.actor.ReflectiveDynamicAccess.createInstanceFor(DynamicAccess.scala:</code><code>73</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>at akka.actor.ReflectiveDynamicAccess$$anonfun$createInstanceFor$</code><code>3.apply</code><code>(DynamicAccess.scala:</code><code>84</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>at akka.actor.ReflectiveDynamicAccess$$anonfun$createInstanceFor$</code><code>3.apply</code><code>(DynamicAccess.scala:</code><code>84</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>at scala.util.Success.flatMap(Try.scala:</code><code>231</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>at akka.actor.ReflectiveDynamicAccess.createInstanceFor(DynamicAccess.scala:</code><code>84</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>at akka.actor.ActorSystemImpl.liftedTree1$</code><code>1</code><code>(ActorSystem.scala:</code><code>585</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>at akka.actor.ActorSystemImpl.&lt;init&gt;(ActorSystem.scala:</code><code>578</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>at akka.actor.ActorSystem$.</code><code>apply</code><code>(ActorSystem.scala:</code><code>142</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>at akka.actor.ActorSystem$.</code><code>apply</code><code>(ActorSystem.scala:</code><code>109</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>at org.apache.toree.boot.layer.StandardBareInitialization$</code><code>class</code><code>.createActorSystem(BareInitialization.scala:</code><code>71</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>at org.apache.toree.Main$$anon$</code><code>1.createActorSystem</code><code>(Main.scala:</code><code>35</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>at org.apache.toree.boot.layer.StandardBareInitialization$</code><code>class</code><code>.initializeBare(BareInitialization.scala:</code><code>60</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>at org.apache.toree.Main$$anon$</code><code>1.initializeBare</code><code>(Main.scala:</code><code>35</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>at org.apache.toree.boot.KernelBootstrap.initialize(KernelBootstrap.scala:</code><code>72</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>at org.apache.toree.Main$delayedInit$body.</code><code>apply</code><code>(Main.scala:</code><code>40</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>at scala.Function0$</code><code>class</code><code>.</code><code>apply</code><code>$mcV$sp(Function0.scala:</code><code>34</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>at scala.runtime.AbstractFunction0.</code><code>apply</code><code>$mcV$sp(AbstractFunction0.scala:</code><code>12</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>at scala.App$$anonfun$main$</code><code>1.apply</code><code>(App.scala:</code><code>76</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>at scala.App$$anonfun$main$</code><code>1.apply</code><code>(App.scala:</code><code>76</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>at scala.collection.immutable.</code><code>List</code><code>.foreach(</code><code>List</code><code>.scala:</code><code>381</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>at scala.collection.generic.TraversableForwarder$</code><code>class</code><code>.foreach(TraversableForwarder.scala:</code><code>35</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>at scala.App$</code><code>class</code><code>.main(App.scala:</code><code>76</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>at org.apache.toree.Main$.main(Main.scala:</code><code>24</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>at org.apache.toree.Main.main(Main.scala)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:</code><code>62</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:</code><code>43</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>at java.lang.reflect.Method.invoke(Method.java:</code><code>498</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:</code><code>736</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>at org.apache.spark.deploy.SparkSubmit$.doRunMain$</code><code>1</code><code>(SparkSubmit.scala:</code><code>185</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:</code><code>210</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:</code><code>124</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)</code> <code>[W </code><code>03</code><code>:</code><code>15</code><code>:</code><code>26.738</code> <code>NotebookApp] Timeout waiting </code><code>for</code> <code>kernel_info reply </code><code>from</code> <code>94a63354</code><code>-</code><code>d294</code><code>-</code><code>4de7</code><code>-</code><code>a12c</code><code>-</code><code>2e05905e0c45</code> </td> 
 </tr> 
 </tbody> 
</table>

这个错误太可怕了，就是版本不对，因为spark2.1.0对应的是scala2.11版本的

所以要用下面的方式下载0.2.0版本

> pip install https://dist.apache.org/repos/dist/dev/incubator/toree/0.2.0/snapshots/dev1/toree-pip/toree-0.2.0.dev1.tar.gz

后面就可以安装spark kernel了

> jupyter toree install --interpreters=Scala --spark\_home=/usr/local/Cellar/apache-spark/2.1.0/libexec --user --kernel\_name=apache\_toree --interpreters=PySpark,SparkR,Scala,SQL

其中spark\_home指的是你的spark的安装目录，记住这个安装目录必须到spark中有python之前，比如我的spark中的python（spark中的python文件夹，不是我们自己装的那个）在 /usr/local/Cellar/apache-spark/2.1.0/libexec

查看结果

> jupyter kernelspec list

![a0e18a7ae5ef61f1a22793f643eaaaa3.png][]

安装成功

**3.打开jupyter notebook查看效果**

![e10539a5eeedc843e7588fdcab19e3c6.png][]

有这么多选项，可以快乐的用jupyter notebook进行spark了

[2396cf6f072866b123b47defe8b63af4.png]: /images/20221023/d078c705c2814435885a10024a311678.png
[a0e18a7ae5ef61f1a22793f643eaaaa3.png]: /images/20221023/b11ff025be974ee9a4d64828a17c183e.png
[e10539a5eeedc843e7588fdcab19e3c6.png]: /images/20221023/4ebb4ed395824fa8ada905b8974b8d2b.png