flink1.13.0 环境搭建

喜欢ヅ旅行 2022-09-10 13:19 174阅读 0赞

# flink部署
    
    1. standalone 模式
    
    2. yarn模式
        session-cluster模式
        job-cluster模式
    
    3. k8s模式
    
    注：yarn模式需要依赖hadoop环境，
    搭建请参考：https://blog.csdn.net/AinUser/article/details/120142220

# 1. standalone模式
    
    直接下载flink-1.13.0安装包
    
    https://archive.apache.org/dist/flink/flink-1.13.1/
    
    
    启动start-cluster.sh脚本即可

# 2. session-cluster模式
    
    2.1. 搭建hadoop集群
        参考上面连接，将hadoop集群搭建完成且正确
    
    2.2. 启动yarn-session
        ./yarn-session.sh -n 2 -s 2 -jm 1024 -tm 1024 -nm test -d
    
        -n(--container)： TaskManager   的数量。
        -s(--slots)： 每个 TaskManager 的 slot 数量，默认一个 slot 一个 core，默认每个        
                      taskmanager 的 slot 的个数为 1， 有时可以多一些 taskmanager，做冗余。
        -jm： JobManager 的内存（ 单位 MB)。
        -tm：每个 taskmanager 的内存（单位 MB)。
        -nm： yarn 的 appName(现在 yarn 的 ui 上的名字)。
        -d：后台执行。
    
    2.3. 执行任务
        ./flink run -c com.atguigu.wc.StreamWordCount
        FlinkTutorial-1.0-SNAPSHOT-jar-with-dependencies.jar --host lcoalhost –port 7777
    
    2.4. 查看任务状态
        hadoop：http://master:8088/cluster/nodes
        flink：http://master:8082
    
    2.5. 取消yarn-session
        yarn application --kill application_1577588252906_0001

# 3. job-cluster
    
    3.1. 启动hadoop集群
    
    3.2. 不用启动yarn-session，直接执行如下job启动命令
    
    3.3. 启动job命令
    ./flink run –m yarn-cluster -c com.atguigu.wc.StreamWordCount
    FlinkTutorial-1.0-SNAPSHOT-jar-with-dependencies.jar --host lcoalhost –port 7777
    
    3.4. 查看启动任务
    flink：http://master:8082

# 4. k8s部署
    
    4.1. k8s启动flink-session-cluster
    // 启动 jobmanager-service 服务
    kubectl create -f jobmanager-service.yaml
    
    // 启动 jobmanager-deployment 服务
    kubectl create -f jobmanager-deployment.yaml
    
    // 启动 taskmanager-deployment 服务
    kubectl create -f taskmanager-deployment.yaml
    
    4.2. 访问flink UI
    http://{JobManagerHost:Port}/api/v1/namespaces/default/services/flink-jobmanage r:ui/proxy