Kafka/Kafka Stream源码阅读环境搭建

雨点打透心脏的1/2处 2022-02-21 13:09 321阅读 0赞

### Kafka Stream源码阅读环境搭建 ###

*   *  安装JDK
     *  下载并安装Gradle
     *  下载并安装Scala
     *  下载Kafka并构建源码环境

\*\*源码环境说明：  
OS：Ubuntu16.04.6，IDE：Intellij IDEA，JDK8，Scala 2.11.8，  
\*\*

## 安装JDK ##

1.  添加仓库源  
    **sudo add-apt-repository ppa:webupd8team/java**
2.  更新软件包列表  
    **sudo apt-get update**
3.  安装JDK  
    **sudo apt-get install oracle-java8-installer**
4.  接下来接受协议（Yes选项），然后就可以了
5.  验证JDK是否安装成功  
    **java -version**
6.  最后的结果:  
    ![JDK安装结果图][JDK]

## 下载并安装Gradle ##

1.  下载Gradle安装包  
    **wget [https://downloads.gradle.org/distributions/gradle-4.10.2-bin.zip][https_downloads.gradle.org_distributions_gradle-4.10.2-bin.zip]**
2.  解压Gradle压缩包  
    **unzip gradle-4.10.2-bin.zip**
3.  配置环境变量  
    **sudo vim /etc/profile**
4.  向/etc/profile文件中添加以下内容：  
    **export GRADLE\_HOME=/soft/grandle\_4\_10\_2**  
    **export PATH=$GRADLE\_HOME/bin:$PATH**
5.  保存退出，并执行如下命令使配置生效  
    **source /etc/profile**

## 下载并安装Scala ##

1.  从http://www.scala-lang.org/download/all.html中下载scala 2.11.8
2.  解压，修改 **/etc/profile** 配置环境变量，然后执行 **source**命令使配置生效
3.  结果如下图：  
    ![下载的文件以及解压包（修改了解压包的名称）][2019041023053751.png]  
    ![/etc/profile添加的内容][etc_profile]  
    ![Scala 安装结果][Scala]

## 下载Kafka并构建源码环境 ##

1.  从http://kafka.apache.org/downloads下载Kafka源码，这里下载的是2.1.1
2.  解压Kafka源码，并修改一些文件的内容  
    2.1 修改kafka-2.1.1-src/gradle.properties文件，将ScalaVersion该为你安装的版本，这里是2.11.8  
    ![在这里插入图片描述][20190410231437872.png]  
    2.2 修改kafka-2.1.1-src/gradle/dependencies.gradle，将其中的def defaultScala211Version修改为2.11.8
3.  编译kafka源码，**进入kafka-2.1.1-src文件夹下**，然后执行如下命令：  
    **gradle idea**  
    注意：如果IDE是eclipse的话应该执行gradle eclipse，这里IDE为Intellij IDEA
4.  然后将kafka源码导入到Intellij IDEA中，导入的时候可以选择导入的是Gradle工程，接下来需要对IDEA做一些设置  
    4.1 在IDEA中安装Scala插件，进入IDEA然后点击File->Settings->Plugins，然后选择Scala进行安装  
    ![IDEA安装Scala插件][IDEA_Scala]
5.  下面是为运行源码做一些配置  
    5.1 修改kafka-2.1.1-src/config下的server.properties中的log.dir配置log存放位置  
    ![配置Kafka Log存放位置][Kafka Log]  
    5.2 将kafka-2.1.1-src/config中的log4j.properties拷贝到你要运行的代码的位置，记得代码要有Main函数
6.  下面的示例是运行kafka-2.1.1-src/streams/example中的WordCountDemo，配置过程如下：  
    6.1 将config文件夹下的log4j.properties拷贝到resources文件夹下，没有该文件夹就自己创建一个，如下图：  
    ![拷贝log4j.properties][log4j.properties]  
    6.2 添加运行代码的配置，如下图，先点击Edit Configurations…  
    ![在这里插入图片描述][20190411090205889.png]  
    6.3 配置 Configurations，依次点击’+’->Application，接下来填写如下图（Name可以不同）：  
    ![填写Configuration][Configuration]  
    6.4 到这里不一定能跑起来这个示例，可以下载Kafka，按照如下过程进行配置：[https://kafka.apache.org/22/documentation/streams/quickstart][https_kafka.apache.org_22_documentation_streams_quickstart]  
    当然你也需要配置你下载的kafka中的server.properties和zookeeper.properties还有log4j.properties文件，接下来按照上面的链接 从Step1一直到Step3结束，然后操作Step4中的下面2步，Step4中的第1步不要操作：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2libGVzcw_size_16_color_FFFFFF_t_70]  
    接下来，然后启动在IDEA中配置的WordCountDemo，点击Run或者Debug，整个结果如下图：  
    ![Kafka Stream示例结果][Kafka Stream]
7.  最后就可以调试代码，阅读源码了。
8.  如果出现Failed to load class "org.slf4j.impl.StaticLoggerBinder，可以参考我的References中的第3篇博客或者其他博客。

References:  
\[1\]:[https://blog.csdn.net/u012707739/article/details/78489833][https_blog.csdn.net_u012707739_article_details_78489833]  
\[2\]: [https://kafka.apache.org/22/documentation/streams/quickstart\#quickstart\_streams\_prepare][https_kafka.apache.org_22_documentation_streams_quickstart_quickstart_streams_prepare]  
\[3\]: [https://www.cnblogs.com/lenmom/p/10359315.html][https_www.cnblogs.com_lenmom_p_10359315.html]

[JDK]: /images/20220221/0e063aea02634bf7b46a9292a81c2a56.png
[https_downloads.gradle.org_distributions_gradle-4.10.2-bin.zip]: https://downloads.gradle.org/distributions/gradle-4.10.2-bin.zip
[2019041023053751.png]: /images/20220221/8e677c032e9f4236acb190558d5e886d.png
[etc_profile]: /images/20220221/77097b61dd8445faa89dd0643983cec7.png
[Scala]: /images/20220221/9de53773be6f45e2bcb6cb6e2913cbbf.png
[20190410231437872.png]: /images/20220221/2cca4701c3484272a4d12487966d7d6b.png
[IDEA_Scala]: /images/20220221/4abef3980d214dacacef8d6f891c2976.png
[Kafka Log]: /images/20220221/9b34e407ade2419e9cd49118ae77ecff.png
[log4j.properties]: /images/20220221/e255daa12f6046d0a27372e5ed82ab09.png
[20190411090205889.png]: /images/20220221/c6cfd21f26c34d5bb4d6170dc1afae34.png
[Configuration]: /images/20220221/2eace3519465481c9d727715e496a89f.png
[https_kafka.apache.org_22_documentation_streams_quickstart]: https://kafka.apache.org/22/documentation/streams/quickstart
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2libGVzcw_size_16_color_FFFFFF_t_70]: /images/20220221/27a79fd38d9b4c8db5b30bb12d3ae17d.png
[Kafka Stream]: /images/20220221/52e018c50d834e9b88dbc613501e7aee.png
[https_blog.csdn.net_u012707739_article_details_78489833]: https://blog.csdn.net/u012707739/article/details/78489833
[https_kafka.apache.org_22_documentation_streams_quickstart_quickstart_streams_prepare]: https://kafka.apache.org/22/documentation/streams/quickstart#quickstart_streams_prepare
[https_www.cnblogs.com_lenmom_p_10359315.html]: https://www.cnblogs.com/lenmom/p/10359315.html