大数据之电商数仓(3) | 日志生成

快来打我* 2023-02-28 11:20 13阅读 0赞

### 目录 ###

*   *  日志生成
     *  集群日志生成启动脚本

## 日志生成 ##

下载之后直接打包

链接：https://pan.baidu.com/s/11fBCXFVTqIJtUqMSrhZUng 
    提取码：mm1j

**`记得改为主方法的全类名`**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70]  
**`日志生成之后 会在/tmp/logs下储存`**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 1]  
1.将 生 成 的 jar 包 logcollector-1.0-SNAPSHOT-jar-with-dependencies.jar 拷 贝 到 hadoop12 服务器/export/servers 上，并同步到 hadoop13 的/export/servers 路径下，

xsync logcollector-1.0-SNAPSHOT-jar-with-dependencies.jar

2.在 hadoop12 上执行 jar 程序

java -classpath logcollector-1.0-SNAPSHOT-jar-with-dependencies.jar com.appclient.AppMain  >/export/servers/test.log

**`说明 1：`**  
java-classpath 需要在 jar 包后面指定全类名；  
java -jar 需要查看一下解压的 jar 包 META-INF/MANIFEST.MF 文件中，Main-Class 是 否有全类名。如果有可以用 java-jar，如果没有就需要用到 java -classpath  
说明 2：：/dev/null 代表 linux 的空设备文件，所有往这个文件里面写入的内容都会丢失，俗称“黑洞”。  
标准输入 0：从键盘获得输入 /proc/self/fd/0  
标准输出 1：输出到屏幕（即控制台） /proc/self/fd/1  
错误输出 2：输出到屏幕（即控制台） /proc/self/fd/2  
在/tmp/logs 路径下查看生成的日志文件  
3. 在/tmp/logs 路径下查看生成的日志文件  
![在这里插入图片描述][20200721110621647.png]

## 集群日志生成启动脚本 ##

1.在/usr/local/bin目录下创建脚本lg.sh

#! /bin/bash
    for i in hadoop12 hadoop13
    do
       echo "---------$i 生成日志----------"
       ssh $i "java -jar /export/servers/logcollector-1.0-SNAPSHOT-jar-with-dependencies.jar >/dev/null 2>&1 &"
    done

2.修改脚本执行权限

chmod 777 lg.sh

3.启动脚本

lg.sh

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70]: /images/20230209/9a95e2d6be08464fb039b29432750e1d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200721105853415.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1,size_16,color_FFFFFF,t_70
[20200721110621647.png]: https://img-blog.csdnimg.cn/20200721110621647.png