记一次基于 Hadoop 3.3.0 集群安装、部署 Nifi 1.12.1

不念不忘少年蓝@ 2023-01-03 11:30 287阅读 0赞

# 一、基本信息 #

官网 [https://nifi.apache.org/][https_nifi.apache.org]  
下载地址 [https://www.apache.org/dyn/closer.lua?path=/nifi/1.12.1/nifi-1.12.1-bin.tar.gz][https_www.apache.org_dyn_closer.lua_path_nifi_1.12.1_nifi-1.12.1-bin.tar.gz]  
下载链接  
[https://mirror.bit.edu.cn/apache/nifi/1.12.1/nifi-1.12.1-bin.tar.gz ][https_mirror.bit.edu.cn_apache_nifi_1.12.1_nifi-1.12.1-bin.tar.gz]  
[https://mirrors.bfsu.edu.cn/apache/nifi/1.12.1/nifi-1.12.1-bin.tar.gz ][https_mirrors.bfsu.edu.cn_apache_nifi_1.12.1_nifi-1.12.1-bin.tar.gz]  
[https://mirrors.tuna.tsinghua.edu.cn/apache/nifi/1.12.1/nifi-1.12.1-bin.tar.gz ][https_mirrors.tuna.tsinghua.edu.cn_apache_nifi_1.12.1_nifi-1.12.1-bin.tar.gz]

# 二、核心概念整理 #

[https://www.cnblogs.com/ronnieyuan/p/11935871.html][https_www.cnblogs.com_ronnieyuan_p_11935871.html]

NiFi——Apache NiFi是由美国国家安全局（NSA）贡献给Apache基金会的开源项目，其设计目标是自动化系统间的数据流。基于其工作流式的编程理念，NiFi非常易于使用、强大、可靠、高可配置。两个最重要的特性是其强大的用户界面和良好的数据回溯工具。堪称大数据工具箱里的瑞士军刀。NiFi的主要用途是对数据进行处理，可汇总、分流、过滤、筛选、组合…等等

简单地说，NiFi是为了自动化系统之间的数据流而构建的。虽然术语“数据流”在各种环境中使用，但我们在此处使用它来表示系统之间自动化和管理的信息流。这个问题空间一直存在，因为企业有多个系统，其中一些系统创建数据，一些系统消耗数据。已经讨论并广泛阐述了出现的问题和解决方案模式。企业集成模式 中提供了一个全面且易于使用的表单。  
NiFi的诞生，要致力于解决的问题：

（1）因为网络故障、磁盘故障、软件崩溃、人们犯错导致的系统错误。  
（2）数据读写超出了自身系统的处理能力。  
（3）获取的数据不具有规范性。  
（4）数据结构的优先级变化很快，启用新流和更改现有流的速度必须非常快。  
（5）数据结构化管理的可移植性与不同数据格式之间的依赖性。

nifi内部功能强大，它的一个优点就是大大减少了编程量！它有很多内置的处理模块，只需用户修改条件或变量便可实现其功能，此外还有一些模块可执行程序代码来进行更灵活的自定义的操作。  
nifi中最常用到的就是正则表达式，偶尔会用到一些代码（java），其次就是数据源的格式（xml、csv、txt、pdf等）  
所以nifi对有一定编程基础的人来说还是很好上手的，只需要多看看文档上对各个模块的释义以及一些函数规则，了解各个模块的功能即可顺畅使用。  
nifi对于没有编程基础的人的门槛设置也不是很高，逻辑思维需要通过多个case来练习，训练对nifi的熟悉度，体会其中的逻辑。此外还要学习正则表达式的语法。

# 三、基础环境 #

1、安装OpenJDK1.8 并查看安装位置  
[https://blog.csdn.net/llwy1428/article/details/111144659][https_blog.csdn.net_llwy1428_article_details_111144659]  
2、Centos7.x 安装部署 Hadoop 3.x HDFS基础环境（非高可用集群）  
[https://blog.csdn.net/llwy1428/article/details/111144524][https_blog.csdn.net_llwy1428_article_details_111144524]  
3.NiFi 1.12.1  
4.使用root用户操作  
5.集群未启用Kerberos

# 四、安装、部署 #

1、创建目录，以供 Nifi 监听服务器内部文件

[root@slave3 ~]# mkdir -p /opt/data/nifi

2、创建实例文件

[root@slave3 ~]# touch /opt/data/nifi1.txt
    [root@slave3 ~]# touch /opt/data/nifi2.txt
    [root@slave3 ~]# touch /opt/data/nifi3.txt

3、向实例文件写入内容

[root@slave3 ~]# echo 'Hello Nifi 1 !' >> /opt/data/nifi1.txt 
    [root@slave3 ~]# echo 'Hello Nifi 2 !' >> /opt/data/nifi2.txt 
    [root@slave3 ~]# echo 'Hello Nifi 3 !' >> /opt/data/nifi3.txt

4、查看每个实例文件

[root@slave3 ~]# cat /opt/data/nifi1.txt 
    Hello Nifi 1 !
    [root@slave3 ~]# cat /opt/data/nifi2.txt 
    Hello Nifi 2 !
    [root@slave3 ~]# cat /opt/data/nifi3.txt 
    Hello Nifi 3 !

5、启动 HDFS 服务

[root@master ~]# /usr/bigdata/hadoop-3.3.0/sbin/start-dfs.sh

6、在 HDFS 上创建 nifi 存放文件的目录

[root@slave3 ~]# hdfs dfs -mkdir /user/nifi

7、给创建的目录赋权

[root@slave3 ~]# hdfs dfs -chmod 777 /user/nifi

8、下载 nifi 的安装包

[root@slave3 ~]# wget -P /usr/bigdata/ https://mirror.bit.edu.cn/apache/nifi/1.12.1/nifi-1.12.1-bin.tar.gz

![在这里插入图片描述][20210108002027931.png]  
9、进入已下载安装包的目录

[root@slave3 ~]# cd /usr/bigdata/

10、解压安装文件

[root@slave3 bigdata]# tar zxf nifi-1.12.1-bin.tar.gz

[root@slave3 bigdata]# cd nifi-1.12.1

![在这里插入图片描述][20210108002156771.png]  
12、进入 nifi 的配置文件目录

[root@slave3 nifi-1.12.1]# cd conf/

13、查看文件列表

[root@slave3 conf]# ll

![在这里插入图片描述][20210108002241747.png]  
14、编辑 nifi 的配置文件 nifi.properties （我更改了 nifi 的 web 端口，因为其默认端口是 8080 ，我有一些其他服务已使用了 8080）  
此处我把 web 的端口改成了 8181  
并配置所有 IP 均可访问

[root@slave3 conf]# vim nifi.properties

编辑内容

#nifi.web.http.host=
    #nifi.web.http.port=8080
    nifi.web.http.host=0.0.0.0
    nifi.web.http.port=8181

如下图：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70]  
15、启动 nifi 服务

[root@slave3 ~]# /usr/bigdata/nifi-1.12.1/bin/nifi.sh start

![在这里插入图片描述][20210108003202626.png]  
16、查看 nifi 的web 服务启动后所占用的端口情况

[root@slave3 ~]# netstat -lntp
    tcp        0      0 0.0.0.0:8181            0.0.0.0:*               LISTEN      2041/java

17、停止 nifi 服务

[root@slave3 ~]# /usr/bigdata/nifi-1.12.1/bin/nifi.sh stop

![在这里插入图片描述][20210108010056838.png]

# 五、浏览器查看、配置 #

1、在浏览器地址栏录入 http://192.168.11.24:8181/ （ 192.168.11.24 是我安装部署 nifi 所用服务的 IP ）  
首页  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 1]  
2、拖入一个处理器到画布中  
搜索、选择 GetFile 处理器  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 2]  
3、双击 GetFile 窗口，进行编辑  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 3]  
4、编辑 GetFile 处理器的属性，将 “Input Directory” 属性值改为前面创建的服务器数据目录的绝对路径 /opt/data/nifi ，点击“APPLY”保存。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 4]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 5]  
5、再拖入一个处理器到画布中，搜索、选择 PutHDFS 处理器，点击 “ADD”。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 6]  
6、双击 PutHDFS 窗口，进行编辑  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 7]  
7、在指定位置填写 hadoop 的配置文件 core-site.xml 的绝对路径及文件名，如下图  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 8]  
8、在 Directory 处填写 在 HDFS 中创建的用来存放文件的地址 /user/nifi  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 9]  
9、连接 GetFile 处理器到 PutHDFS 处理器  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 10]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 11]  
10、勾选PutHDFS处理器中 Automatically Terminate Relationships 下的 success 和 failure 两项配置，点击“APPLY”保存。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 12]  
11、左键单击选中 GetFile 处理器，按住 shift 再次选中 PutHDFS 处理器，点击 “Start” 。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 13]

# 六、文件操作、HDFS 查看 #

1、先确保服务器物理地址和 HDFS 中没有文件  
服务器物理地址

[root@slave3 ~]# hdfs dfs -ls /user/nifi

HDFS 中

[root@slave3 ~]# ll /opt/data/nifi
    总用量 0

2、把上文创建好的实例文件移到到监听目录 /opt/data/nifi 下

[root@slave3 ~]# mv /opt/data/nifi1.txt /opt/data/nifi
    [root@slave3 ~]# mv /opt/data/nifi2.txt /opt/data/nifi
    [root@slave3 ~]# mv /opt/data/nifi3.txt /opt/data/nifi

3、再到 HDFS 中查看 nifi 的文件存储目录  
节点：slave1

[root@slave1 ~]# hdfs dfs -ls /user/nifi/
    Found 3 items
    -rw-r--r--   3 root supergroup         15 2021-01-08 00:53 /user/nifi/nifi1.txt
    -rw-r--r--   3 root supergroup         15 2021-01-08 00:53 /user/nifi/nifi2.txt
    -rw-r--r--   3 root supergroup         15 2021-01-08 00:53 /user/nifi/nifi3.txt

节点：slave2

[root@slave2 ~]# hdfs dfs -ls /user/nifi/
    Found 3 items
    -rw-r--r--   3 root supergroup         15 2021-01-08 00:53 /user/nifi/nifi1.txt
    -rw-r--r--   3 root supergroup         15 2021-01-08 00:53 /user/nifi/nifi2.txt
    -rw-r--r--   3 root supergroup         15 2021-01-08 00:53 /user/nifi/nifi3.txt

节点：slave3

[root@slave3 ~]# hdfs dfs -ls /user/nifi/
    Found 3 items
    -rw-r--r--   3 root supergroup         15 2021-01-08 00:53 /user/nifi/nifi1.txt
    -rw-r--r--   3 root supergroup         15 2021-01-08 00:53 /user/nifi/nifi2.txt
    -rw-r--r--   3 root supergroup         15 2021-01-08 00:53 /user/nifi/nifi3.txt

4、HDFS WEB 查看 nifi 文件列表  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 14]  
5、查看 HDFS 中文件 nif1.txt  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 15]  
6、查看 HDFS 中文件 nif2.txt  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 16]  
7、查看 HDFS 中文件 nif3.txt  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 17]

# 参考 #

开源中国 [https://www.oschina.net/p/nifi][https_www.oschina.net_p_nifi]  
实例 [https://my.oschina.net/u/4016761/blog/4577005][https_my.oschina.net_u_4016761_blog_4577005]  
入门 [https://www.jianshu.com/p/62b7e44cfd0b][https_www.jianshu.com_p_62b7e44cfd0b]

至此，基于 Hadoop 3.3.0 集群 安装、部署 Nifi 1.12.1 操作完毕，希望能够对您有所帮助！

[https_nifi.apache.org]: https://nifi.apache.org/
[https_www.apache.org_dyn_closer.lua_path_nifi_1.12.1_nifi-1.12.1-bin.tar.gz]: https://www.apache.org/dyn/closer.lua?path=/nifi/1.12.1/nifi-1.12.1-bin.tar.gz
[https_mirror.bit.edu.cn_apache_nifi_1.12.1_nifi-1.12.1-bin.tar.gz]: https://mirror.bit.edu.cn/apache/nifi/1.12.1/nifi-1.12.1-bin.tar.gz
[https_mirrors.bfsu.edu.cn_apache_nifi_1.12.1_nifi-1.12.1-bin.tar.gz]: https://mirrors.bfsu.edu.cn/apache/nifi/1.12.1/nifi-1.12.1-bin.tar.gz
[https_mirrors.tuna.tsinghua.edu.cn_apache_nifi_1.12.1_nifi-1.12.1-bin.tar.gz]: https://mirrors.tuna.tsinghua.edu.cn/apache/nifi/1.12.1/nifi-1.12.1-bin.tar.gz
[https_www.cnblogs.com_ronnieyuan_p_11935871.html]: https://www.cnblogs.com/ronnieyuan/p/11935871.html
[https_blog.csdn.net_llwy1428_article_details_111144659]: https://blog.csdn.net/llwy1428/article/details/111144659
[https_blog.csdn.net_llwy1428_article_details_111144524]: https://blog.csdn.net/llwy1428/article/details/111144524
[20210108002027931.png]: /images/20221119/76545f59b4e846e6b0b84262be43ba96.png
[20210108002156771.png]: /images/20221119/fda45bd7ef1f406a928d76a4d23212c6.png
[20210108002241747.png]: /images/20221119/4c3aef16ca054120b75cba55cef2d790.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70]: /images/20221119/4df1bc1196a948838b86eb9874909aa3.png
[20210108003202626.png]: /images/20221119/42829fd9098d4018954d83ee240f9b05.png
[20210108010056838.png]: /images/20221119/192aa31e25504987b04e6ee8c2ee0240.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 1]: /images/20221119/d426c8e85b4744fc8e776d12122121f9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 2]: /images/20221119/3723dc3628514d179fe5c8ed84691c83.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 3]: /images/20221119/4bbdf588e032486a9e5451b7c5cf4449.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 4]: /images/20221119/341224647217417abbf725153981faff.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 5]: /images/20221119/ede9a965ab0b4ff29045982a40c6e27a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 6]: /images/20221119/2bc00ab3981e41d5a01e9e323005213e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 7]: /images/20221119/b96b718614ee42bdbaec4cc56d78afa1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 8]: /images/20221119/531d57152fed4394b17c936d02509e3e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 9]: /images/20221119/6c26b4839002434184bba1eb79c923d6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 10]: /images/20221119/c9cb059da5324aab9346e5fc90bf1c22.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 11]: /images/20221119/d7aa2395c97c4032931cdbc14a2c2b5e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 12]: /images/20221119/ccc3f8ebc11c491883403bd7a7dc563d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 13]: /images/20221119/27fde1df4fc74156bf9437b51725ce5b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 14]: /images/20221119/6b6d0e8541de4bca898537fad2c56aad.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 15]: /images/20221119/07eafcb71f1e4b8f8c1959c25f43621a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 16]: /images/20221119/85f43972b4894a3d92601fa40d0c19db.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 17]: /images/20221119/84cad8b507754949816dc15691f7cca4.png
[https_www.oschina.net_p_nifi]: https://www.oschina.net/p/nifi
[https_my.oschina.net_u_4016761_blog_4577005]: https://my.oschina.net/u/4016761/blog/4577005
[https_www.jianshu.com_p_62b7e44cfd0b]: https://www.jianshu.com/p/62b7e44cfd0b