【Flink】Flink环境搭建

缺乏、安全感 2023-01-04 14:44 233阅读 0赞

本篇文章以最简单的方式快速搭建Flink 1.12.0环境,供开发学习使用。

1.1 下载地址

Flink版本列表:

https://archive.apache.org/dist/flink/

最新版1.12.0下载地址:

https://archive.apache.org/dist/flink/flink-1.12.0/flink-1.12.0-bin-scala_2.12.tgz

下载1.12.0版本:

  1. wget https://archive.apache.org/dist/flink/flink-1.12.0/flink-1.12.0-bin-scala_2.12.tgz

解压下载下来的压缩包:

  1. tar -xzf flink-1.12.0-bin-scala_2.12.tgz

启动:

  1. ./bin/start-cluster.sh

检查是否启动成功:

  1. [root@localhost flink-1.12.0]# jps -l | grep flink
  2. 3922 org.apache.flink.runtime.taskexecutor.TaskManagerRunner
  3. 3615 org.apache.flink.runtime.entrypoint.StandaloneSessionClusterEntrypoint

检查web ui是否启动成功:

  1. http://ip:port:8081

在这里插入图片描述

2.1 批处理例子

使用flink自带的word count程序实现单词计数,如果不输入任何参数(输入文件路径和输出文件路径),则使用程序内置的数据:

  1. [root@localhost flink-1.12.0]# ./bin/flink run ./examples/batch/WordCount.jar --output /home/happy/flink/output/wordcount-result
  2. Executing WordCount example with default input data set.
  3. Use --input to specify file input.
  4. Job has been submitted with JobID d1e96fab40dec4fffefa8b96674bd0ea
  5. Program execution finished
  6. Job with JobID d1e96fab40dec4fffefa8b96674bd0ea has finished.
  7. Job Runtime: 168 ms

查看结果:

  1. more ../output/wordcount-result
  2. a 5
  3. action 1
  4. after 1
  5. against 1
  6. all 2
  7. and 12
  8. arms 1
  9. arrows 1
  10. ......

2.2 流处理例子

安装netcat:

  1. yum install -y nc

监听tcp端口,发送数据:

  1. nc -l 8881

启动流处理示例程序:

  1. [root@localhost flink-1.12.0]# ./bin/flink run ./examples/streaming/SocketWindowWordCount.jar --port 8881
  2. Job has been submitted with JobID 41831fee1253dc7cd4a1e4dfee357916

发送数据:

  1. aa bb bb cc

控制台输出结果::

  1. cc : 1
  2. aa : 1
  3. cc : 1
  4. bb : 2

内置的web-ui,默认端口为8081:

  1. http://ip:port:8081

在这里插入图片描述
我们可以通过这也界面来提交和监控Flink程序,以及查看运行日志等等。

发表评论

表情:
评论列表 (有 0 条评论,233人围观)

还没有评论,来说两句吧...

相关阅读

    相关 开发环境

    devsever contentbase是接下来要执行的本地开发环境的服务器规定服务器要在哪里获取文件 open:true.//自动打开浏览器 port 9000 第一

    相关 Docker:环境

    一,虚拟机环境搭建     \ Linux镜像要求CentOS版本为7,且内核大于3.10     \ 具体安装步骤不做演示,只对几个遇到的问题进行说明