Flink 使用IntelliJ IDEA 进行远程调试代码

野性酷女 2022-11-15 11:40 363阅读 0赞

### . ###

*  一 .前言
 *  二 .服务器端配置.
 *   *  2.1. 设置启动远程debug端口
     *  2.2. 具体操作
 *  三 .Idea配置
 *   *  3.1. 配置远程连接
     *  3.3. 启动调试

# 一 .前言 #

Flink on Yarn 不好调试, 所以需要用到远程调试.

> 注意 : 开启远程调试的代码,必须与本地idea的代码必须保持一致.

# 二 .服务器端配置. #

## 2.1. 设置启动远程debug端口 ##

修改 服务器上的配置文件 `${FLINK_HOME}/flink-config.yaml` 增加 环境变量即可.

*  参考的设置

<table> 
 <thead> 
  <tr> 
   <th>组件</th> 
   <th align="left">环境变量设置</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Client</td> 
   <td align="left">env.java.opts.client: -agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5666</td> 
  </tr> 
  <tr> 
   <td>JobManager</td> 
   <td align="left">env.java.opts.jobmanager: -agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5005</td> 
  </tr> 
  <tr> 
   <td>TaskManager</td> 
   <td align="left">env.java.opts.taskmanager: -agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5006</td> 
  </tr> 
 </tbody> 
</table>

## 2.2. 具体操作 ##

1.  编辑服务器上的配置文件\[ `${FLINK_HOME}/flink-config.yaml` 随便加上一行\[记住端口!!!\]:

# jobmanager debug端口
    env.java.opts.jobmanager: -agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5005
    
    # taskmanager debug端口
    env.java.opts.taskmanager: -agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5006

suspend : 是否阻塞, 如果是调试启动的话, 建议设置成 y .  
address : 调试的远程端口 5005

1.  调试JobManager的话,要注意设置一下超时时间.

修改 配置文件\[ `${FLINK_HOME}/flink-config.yaml` 增加一行代码:

# 设置超时 时间 . 单位 毫秒.
    rest.connection-timeout: 360000000
    rest.idleness-timeout: 360000000

1.  启动服务即可 \[启动完, JVM返现有jdwp的配置,会自动阻塞, 等到idea调试连接.\].

因为我要调试的是JobManager .  
所以启动命令为:

cd ${ FLINK_HOME}/bin
    
    
    # 启动任务
    
    flink run -t yarn-per-job -c org.apache.flink.streaming.examples.socket.SocketWindowWordCount examples/streaming/SocketWindowWordCount.jar --port 9999

1.  查看日志

为了便于观察报错信息 . 打开JobManager相关的 日志, 使用命令进行查看就可以了.

到这里,服务端配置就完成了.

# 三 .Idea配置 #

将与服务器同步的代码导入到idea中, 导入完成, 不编译,不管报错信息…  
只要导入到idea , 等idea自己构建完就可以了…

## 3.1. 配置远程连接 ##

\-点击 `Edit Configurations....`

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5nbG9uZ180NDQ0_size_16_color_FFFFFF_t_70]

*  建立远程debug就可以了  
    主要是端口一定要跟服务端配置的端口要匹配.  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5nbG9uZ180NDQ0_size_16_color_FFFFFF_t_70 1]
 *  第0步, 选择`Remote` 的截图.  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5nbG9uZ180NDQ0_size_16_color_FFFFFF_t_70 2]

## 3.3. 启动调试 ##

\-选择刚才的配置,启动debug调试即可. 然后就可以等待连接到服务器,进行DEBUG操作了…

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5nbG9uZ180NDQ0_size_16_color_FFFFFF_t_70 3]

参考文章:  
https://www.jianshu.com/p/f33fe9bbca17

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5nbG9uZ180NDQ0_size_16_color_FFFFFF_t_70]: /images/20221022/332125fa66fb47c495d9dd4c092d4433.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5nbG9uZ180NDQ0_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20210331185917531.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5nbG9uZ180NDQ0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5nbG9uZ180NDQ0_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20210328150531370.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5nbG9uZ180NDQ0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5nbG9uZ180NDQ0_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20210331185944177.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5nbG9uZ180NDQ0,size_16,color_FFFFFF,t_70