Shell脚本的使用（积累ing）

淡淡的烟草味﹌ 2022-01-12 08:51 226阅读 0赞

前文：

Shell脚本可提高工作执行效率，本质上为一堆命令的集合。

### 一、字符串处理 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY4NzA3NA_size_16_color_FFFFFF_t_70][]

#部分代码案例展示
    
    log_index=$(cat $log_txt)						#最新记录
    #echo $log_index
    log_path=$(echo $log_index | awk '{print $4}')					#数据文件
    #echo $log_path
    
    log_datas=$(echo $log_path | sed "s/20.*-[0-9]*-[0-9]*\/.*/$(date +%Y-%m-%d)\//g" | sed "s/20[0-9]*\/.*/$(date +%Y%m%d)\//g") #替换时间后当天的所有数据文件
    #echo $log_datas
    
    log_last=$(ls -lrt $log_datas | grep message | sed -n '$p' | awk '{print $9}')			#取最新的数据文件名
    #echo $log_last
    log_message=$(wc -l $log_datas$log_last)					#行数+最新数据文件的绝对路径
    #echo $log_message
    
    log_file=$(echo $log_message | awk '{print $2}' | sed 's/.*log.//g' | sed 's/\./_/g')	#第几个文件（往回写的参数）
    #echo $log_file
    log_num=$(echo $log_message | awk '{print $1}')						#行数
    #echo $log_num
    log_filepath=$(echo $log_message | awk '{print $2}')					#文件路径
    #echo $log_filepath
    
    echo $log_file", "$log_num" = "$log_filepath >  $binDir"/"$log_txt	#更新文件

### 二、脚本案例 ###

2.1 使用rsync命令远程同步多台服务器文件——xsync

#!/bin/bash
    #1 获取输入参数个数，如果没有参数，直接退出
    pcount=$#
    if((pcount==0)); then
    echo no args;
    exit;
    fi
    
    #2 获取文件名称
    p1=$1
    fname=`basename $p1`
    echo fname=$fname
    
    #3 获取上级目录到绝对路径
    pdir=`cd -P $(dirname $p1); pwd`
    echo pdir=$pdir
    
    #4 获取当前用户名称
    user=`whoami`
    
    #5 循环
    for((host=2; host<3; host++)); do
            echo ------------------- hadoop0$host --------------
            #rsync  -rvl  /opt/module  root@hadoop02:/opt/
            rsync -rvl $pdir/$fname $user@hadoop0$host:$pdir
    done

2.2 脚本启动Zookeeper——zk.sh

#! /bin/bash
    
    case $1 in
    "start"){
    	for i in hadoop102 hadoop103 hadoop104
    	do
    		ssh $i "/opt/module/zookeeper-3.4.10/bin/zkServer.sh start"
    	done
    };;
    "stop"){
    	for i in hadoop102 hadoop103 hadoop104
    	do
    		ssh $i "/opt/module/zookeeper-3.4.10/bin/zkServer.sh stop"
    	done
    };;
    "status"){
    	for i in hadoop102 hadoop103 hadoop104
    	do
    		ssh $i "/opt/module/zookeeper-3.4.10/bin/zkServer.sh status"
    	done
    };;
    esac

2.3 自动重启Maxwell

vim /home/cesar/listen_maxwell-1.24.0.sh
     
    #/bin/bash
     
    source /etc/profile
     
    #监听对应maxwell的路径
    maxwell_path="/opt/maxwell-1.24.0"
     
    rusult=`ps -efv | grep maxwell |grep -v grep |grep 'listen_maxwell-1.24.0.sh' | wc -l` #监听此脚本是否启动,编辑此脚本时也被识别为启动
     
    #手动执行：maxwell宕机：启动脚本+判断脚本=2，maxwell正常：启动脚本+判断脚本+已存在进程=3  ；
    #定时器执行:maxwell宕机：0，maxwell正常：已存在进程=1  ；
    if [ "$rusult" = "0" ];then
            cd $maxwell_path && nohup ./bin/maxwell &
            echo " `date "+%Y-%m-%d %H:%M:%S"` $i 启动成功!" >> /home/cesar/listen_maxwell_log
    fi

2.4 时间范围扫描(可跑历史数据)

#!/bin/bash
    
    #避免/etc/profile失效
    source /etc/profile
    
    #判断是否传入参数
    if [ ! $1 ]; then
            #重跑前天数据
            startDay=`date -d '-1 day' +%Y-%m-%d`
            endDay=`date -d '-1 day' +%Y-%m-%d`
    else
            #是否范围重跑
            if [ ! $2 ]; then
                    startDay=$1
                    endDay=$1
            else
                    startDay=$1
                    endDay=$2
            fi
    fi
    
    varDay=$startDay
    while [[ $varDay < `date -d "+1 day $endDay" +%Y-%m-%d` ]]
    do
    echo $varDay
        varDay=`date -d "+1 day $varDay" +%Y-%m-%d`
    done

### 三、常用 ###

1、使用Sed (取第几行、增删、替换)

cat number.txt | sed 's/ /\\n/g '|grep -v "^$"|sort -nr|sed -n '1p;$p'     对文件获取最大数和最小数值

sed '/匹配数据/a 添加数据' test.txt    增加后一行

sed '/匹配数据/i 添加数据教' test.txt     增加前一行

sed '/匹配数据/d' test.txt     删除该行

sed  '2d' test.txt    删除第四行

sed -n '2p' text.txt 打印第二行

sed '4s/旧字符串/新字符串/g' text.txt  替换第四行的旧字符串

2、使用AWK(取行、分割、取列)

ifconfig |grep -E '(\[1-9\]\{1,3\}\\.)\{3\}\[1-9\]\{1,3\}' |awk -F : '\{print $2\}'|awk -F " " '\{print $1\}'   获取IP地址

ifconfig |grep Bcast |awk '\{print $2\}'|sed 's/addr://g'   获取IP地址

echo "1 2 3"|awk '\{print "third:"$NF\}' 打印最后一列并在前面添加字符串

awk 'NR>=10\{print $1\}' canshu.sh 打印大于10行的第一列(增加过滤条件)

awk -F ":" '\{print $1 "\\t" $3\}'  截取以：为分隔符的第一列和第三列

3、使用Cut(指定切割取列)

echo $PATH | cut -d ':' -f 1-3,5 按：分割，取出1,2,3,5列

4、使用Grep(捕获，正则匹配)

cat test.txt |grep -E "(\[1-9\]\{1,3\}\\.)\{1,3\}\[1-9\]\{1,3\}"     匹配IP地址

5、使用find(查找文件)

find . -maxdepth 1 -size +50M -type f -name "\*.txt" -mtime -1 -exec mv \{\} /tmp/ \\   只找一层节点大于50M类型为文件名字为.txt创建时间为当天，移动到/tmp文件目录

6.带密码远程执行

yum -y install sshpass   
sshpass -p '123456' scp test\_ssh.sh root@192.168.1.1:/opt/  
sshpass -p '123456' ssh root@192.168.1.1 touch /opt/test\_ssh.sh

### 四、综合所有脚本 ###

#!/bin/bash
    
    function fun1(){
    j=0
    for ((i=1;i<=100;i++))
    do
            j=`expr $i + $j`
    done
    echo $j
    }
    
    function fun2(){
    i=0
    j=0
    while [[ $i -lt 10 ]]
    do
            if (( $i %2 == 0 ));then
            j=`expr $i + $j`
    
            elif [[ $i -eq 3 ]];then
            echo "Hello! 3!"
    
            else
            echo "no double or 3"
            fi
            ((i++))
    done
    echo "j=$j"
    
    }
    
    function fun3(){
    
    read -p "Input your passwd:" num 
    
    if [[ $num -eq "000000" ]];then
    echo "Success!"
    else
    echo "Bad!"
    fi
    
    }
    
    PS3="Select one your like:"
    select i in "fun1" "fun2" "input" "exit"
    
    do
    case $i  in
    
            fun1)
            fun1
            ;;
            fun2)
            fun2      
            ;;
            input)
            fun3
            ;;
            exit)
            echo "ByeBye!"
            exit
            ;;
            *)
            echo "Usage:{ $0 1|2|3|4 }"
            ;;
    esac
    done

### 五、Pyspark ###

import findspark
    findspark.init()
    from os.path import expanduser, join, abspath
    from pyspark.sql import SparkSession
    from pyspark.sql import Row
    
    spark = SparkSession \
        .builder \
        .appName("Python Spark SQL Hive integration example") \
        .enableHiveSupport() \
        .getOrCreate()
    
    spark.sql("SHOW DATABASES")
    df = spark.sql("SELECT * FROM tmp.test")
    df.show()

执行： python  pyspark\_demo01.py

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY4NzA3NA_size_16_color_FFFFFF_t_70]: /images/20220109/9a98e477c99e47daa18fd2be401ac8d0.png