如何在Hue中添加Spark Notebook

╰半橙微兮° 2022-01-16 01:59 513阅读 0赞

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][]

--------------------

CDH集群中可以使用Hue访问Hive、Impala、HBase、Solr等，在Hue3.8版本后也提供了Notebook组件（支持R、Scala及python语言），但在CDH中Hue默认是没有启用Spark的Notebook，使用Notebook运行Spark代码则依赖Livy服务。在前面Fayson也介绍了《Livy，基于Apache Spark的开源REST服务，加入Cloudera Labs》、《如何编译Livy并在非Kerberos环境的CDH集群中安装》、《如何通过Livy的RESTful API接口向非Kerberos环境的CDH集群提交作业》、《如何在Kerberos环境的CDH集群部署Livy》、《如何通过Livy的RESTful API接口向Kerberos环境的CDH集群提交作业》、《如何打包Livy和Zeppelin的Parcel包》和《如何在CM中使用Parcel包部署Livy及验证》，本篇文章Fayson主要介绍如何在Hue中添加Notebook组件并集成Spark。

![1620][]

*  测试版本

1.CM和CDH版本为5.14.2

*  前置条件

1.Hue服务已安装且正常运行

2.Livy服务已安装且正常运行

**2.Hue添加Notebook**

--------------------

1.使用管理员登录CM控制台，进入Hue服务界面

![1620][1620 1]

2.点击“配置”，在搜索栏输入“hue\_safety\_valve.ini”

![1620][1620 2]

3.在hue\_safety\_value.ini中添加如下配置启用Notebook功能

[desktop]
    app_blacklist=
    
    [spark]
    livy_server_host=cdh02.fayson.com
    livy_server_port=8998
    livy_server_session_kind=yarn
    
    [notebook]
    show_notebooks=true
    enable_external_statements=true
    enable_batch_execute=true

（可左右滑动）

![1620][1620 3]

保存配置并重启Hue服务。

**3.Hue中使用验证**

--------------------

1.使用hiveadmin用户登录Hue

![1620][1620 4]

2.点击“Query”->“Editor”->“Notebook”菜单，打开一个新的Notebook

![1620][1620 5]

3.新打开的Notebook页面如下

![1620][1620 6]

该Notebook支持的所有类型

![1620][1620 7]

4.创建一个PySpark交互式会话并运行示例代码

from __future__ import print_function
    import sys
    from random import random
    from operator import add
    
    partitions = int(sys.argv[1]) if len(sys.argv) > 1 else 2
    n = 100000 * partitions
    
    def f(_):
        x = random() * 2 - 1
        y = random() * 2 - 1
        return 1 if x ** 2 + y ** 2 < 1 else 0
    
    count = spark.sparkContext.parallelize(range(1, n + 1), partitions).map(f).reduce(add)
    print("Pi is roughly %f" % (4.0 * count / n))

（可左右滑动）

![1620][1620 8]

查看当前Notebook启动的Session

![1620][1620 9]

5.通过菜单切换运行环境，可以是R、PySpark、Scala、Impala、Hive等

![1620][1620 10]

6.运行Spark Notebook成功可以看到Livy中已成功创建了Spark Session会话

![1620][1620 11]

Yarn界面

![1620][1620 12]

**4.总结**

--------------------

1.CDH版本中的Hue默认是没有启用Notebook组件，需要在hue\_safety\_value.ini文件中添加配置。

2.创建Spark Notebook则需要依赖Livy服务，需要在集群中部署Livy服务并在Hue中配置Livy环境。

转载于:https://my.oschina.net/hblt147/blog/3001726

[2019_Python_]: https://my.oschina.net/u/2663968/blog/3061697
[hot3.png]: /images/20220115/0e7fff9fd0944d1cba50e178c3b3ed1e.png
[1620]: https://ask.qcloudimg.com/http-save/yehe-1522219/76u1cum3c6.jpeg?imageView2/2/w/1620
[1620 1]: https://ask.qcloudimg.com/http-save/yehe-1522219/fec0n1uvia.jpeg?imageView2/2/w/1620
[1620 2]: https://ask.qcloudimg.com/http-save/yehe-1522219/xxuapw58yr.jpeg?imageView2/2/w/1620
[1620 3]: https://ask.qcloudimg.com/http-save/yehe-1522219/clg1a08rhe.jpeg?imageView2/2/w/1620
[1620 4]: https://ask.qcloudimg.com/http-save/yehe-1522219/02k17u68if.jpeg?imageView2/2/w/1620
[1620 5]: https://ask.qcloudimg.com/http-save/yehe-1522219/u3554l5ygh.jpeg?imageView2/2/w/1620
[1620 6]: https://ask.qcloudimg.com/http-save/yehe-1522219/8ag9o2uaik.jpeg?imageView2/2/w/1620
[1620 7]: https://ask.qcloudimg.com/http-save/yehe-1522219/ei2f4sh8xg.png?imageView2/2/w/1620
[1620 8]: https://ask.qcloudimg.com/http-save/yehe-1522219/q3d5wmckpx.jpeg?imageView2/2/w/1620
[1620 9]: https://ask.qcloudimg.com/http-save/yehe-1522219/wqxhz5sbls.jpeg?imageView2/2/w/1620
[1620 10]: https://ask.qcloudimg.com/http-save/yehe-1522219/mcf5hvmdzn.png?imageView2/2/w/1620
[1620 11]: https://ask.qcloudimg.com/http-save/yehe-1522219/htkudcluxj.jpeg?imageView2/2/w/1620
[1620 12]: https://ask.qcloudimg.com/http-save/yehe-1522219/scrlry309p.jpeg?imageView2/2/w/1620