常用linux命令

2021-09-11 13:44 138阅读 0赞

## **常用linux命令** ##

**命令帮助：**

man显示详细的系统手册页中的内容
    man ls
    使用/ -a来搜索关键词

help显示简要的 shell 命令
    ls --help

info显示比man还详细的命令说明
    info ls

**查看进程id：**  
ps -ef | grep tomcat // 搜索进程  
ps aux | grep tomcat

分别显示：
    UID    PID   PPID   C   STIME     TTY      TIME        CMD
    root  18887 18828   0  08:09     pts/0    00:00:00    grep ApacheJetspeed
    UID 程序被该user所拥有
    PID 程序的 ID 
    PPID 上级父程序的ID
    C CPU 使用的资源百分比
    STIME 系统启动时间
    TTY 登入者的终端机位置
    TIME 使用掉的 CPU 时间。
    CMD 所下达的指令为何

ps a 显示现行终端机下的所有程序，包括其他用户的程序。  
ps -A 显示所有程序。  
ps c 列出程序时，显示每个程序真正的指令名称，而不包含路径，参数或常驻服务的标示。  
ps -e 此参数的效果和指定"A"参数相同。  
ps e 列出程序时，显示每个程序所使用的环境变量。  
ps f 用ASCII字符显示树状结构，表达程序间的相互关系。  
ps -H 显示树状结构，表示程序间的相互关系。  
ps -N 显示所有的程序，除了执行ps指令终端机下的程序之外。  
ps s 采用程序信号的格式显示程序状况。  
ps S 列出程序时，包括已中断的子程序资料。  
ps -t<终端机编号> 指定终端机编号，并列出属于该终端机的程序的状况。  
ps u 以用户为主的格式来显示程序状况。  
ps x 显示所有程序，不以终端机来区分。

kill pid杀死进程 kill -9 pid  
ps 9879 //根据进程id显示  
pidstat -p 5472 //根据进程id显示

# 利用ps批量kill
    ps aux|grep server|grep -v grep | awk '{print $2}'|xargs kill -9

**查看文件被哪个进程占用：**

lsof filename
    lsof -p pid | grep log

**查看进程启动路径**

ls -l /proc/1062410      //1062410为进程pid

**lsof神器**

lsof  -i :22   22端口信息
    lsof  -u daniel   用户打开文件信息
    lsof  -c syslog-ng   指定命令正在打开的文件和网络
    lsof  -p 10075   进程打开的文件
    lsof  /home/daniel/firewall_whitelist.txt   指定文件当前交互的进程

**查看端口：**  
netstat -tupln | grep 4399 //根据进程id显示，也可搜索端口号  
netstat -anp | grep 4399 //根据进程id显示  
lsof -i:8080 //根据端口显示  
**查看当前文件夹下文件和文件夹：**  
find . -type d -maxdepth 1 显示当前目录下文件夹  
ls –a 目前该目录下的所有文件及文件夹（包括隐藏文件）  
ls –all 或 ls -l 目前该目录下的所有文件及文件夹（包括隐藏文件），而且还显示了每一个文件及文件夹的属性、所有者、创建时间、大小等等信息。  
**查看当前目录下文件夹大小：**

sudo du -sh * | sort -n

**查看文件大小：**

ls -l --block-size=M

**创建文件夹：**  
mkdir dirname  
mkdir /home/dirname  
mkdir -p train/dog \#建多层文件夹  
**删除文件,夹：**  
rm -rf /home/dirname （r向下递归，f强制删除）  
rm -rf /home/dirname/\* (文件夹下所有文件)  
**修改文件,夹：**  
mv /home/dirname /home/anothername  
mv /home/dirname/\* /home/anothername  
mv /home/dirname/a.html /home/anothername/b.html  
**修改文件夹名：**  
mv ./camera-openpose-keras-master ./keras  
**复制文件、文件夹：**  
cp -rf /home/dirname/\* /home/anothername \#dirname下所有文件  
cp -R models …/caltech/models \#将models文件夹及其以下文件复制  
**仅复制文件夹结构而不复制文件：**  
\{\}代表find查找到文件夹名，注意格式一定要正确

find . -type d -exec mkdir -p "../train/{}" \;

**文件解压：**  
zip命令  
　　 解压：unzip FileName.zip -d files  
　　 压缩：zip -r FileName.zip DirName  
tar命令  
　　 解包：tar zxvf FileName.tar  
　　 打包：tar czvf FileName.tar DirName  
tar包压缩的时候用cvf参数，解压的时候用xvf参数  
或压缩的时候用czvf参数，解压的时候用xzvf参数  
不解压查看内部文件：  
tar tvf my\_file.tar.gz

Linux压缩保留源文件的方法：  
gzip –c filename > filename.gz  
Linux解压缩保留源文件的方法：  
gunzip –c filename.gz > filename

1、*.tar 用 tar –xvf 解压
    2、*.gz 用 gzip -d或者gunzip 解压
    3、*.tar.gz和*.tgz 用 tar –xzf 解压
    4、*.bz2 用 bzip2 -d或者用bunzip2 解压
    5、*.tar.bz2用tar –xjf 解压
    6、*.Z 用 uncompress 解压
    7、*.tar.Z 用tar –xZf 解压
    8、*.rar 用 unrar e filename解压
    9、*.zip 用 unzip 解压

批量解压：
    for tar in *.tar; do tar xvf $tar; done
    合并文件解压：
    cat part*.tar | tar -zxv

tar
    
    -c: 建立压缩档案
    -x：解压
    -t：查看内容
    -r：向压缩归档文件末尾追加文件
    -u：更新原压缩包中的文件
    这五个是独立的命令，压缩解压都要用到其中一个，可以和别的命令连用但只能用其中一个。
    下面的参数是根据需要在压缩或解压档案时可选的。
    
    -z：有gzip属性的
    -j：有bz2属性的
    -Z：有compress属性的
    -v：显示所有过程
    -O：将文件解开到标准输出
    
    下面的参数-f是必须的
    -f: 使用档案名字，切记，这个参数是最后一个参数，后面只能接档案名。

**查找文件：**  
find /var -name tmp.txt  
**nohup后台 重定向：**  
nohup python app.py >/dev/null 2>&1 & （0、1和2分别表示标准输入、标准输出和标准错误信息输出）  
**查看ip：**  
外网：curl ifconfig.me  
内网：ifconfig  
**一行执行多条命令：**

a && b   //a执行成功才执行b
    a || b	 //a执行不成功才执行b
    a ; b    //a，b顺序执行

**空间、内存、CPU使用**

top cpu运行情况
    df -m 以mb形式查看磁盘空间
    free 查看内存使用情况

**查看程序有几个版本：**  
都可以修改默认的版本

alternatives --config java
    update-alternatives --display java

**查看命令路径**

which java // PATH路径中第一个JAVA的位置，也就是JAVA命令默认执行的位置
    whereis java  // 所有包含java（不管是文件还是文件夹）的路径都列了出来。

**screen 后台的一种方式**  
建立screen：

screen
    screen vi test.c

不中断程序，暂时断开会话，关闭ssh：

C-a d 即Ctrl键+a键，之后再按下d键
    C-a ?来查看所有的键绑定

当前存在screen：

screen -ls

链接到已存在screen：

screen -r 16582 或者 自定义的name

如果shell突然断开而screen还是attached状态是时，使用

screen -D  -r <session-id>

如果由于某种原因其中一个会话死掉了，使用screen -ls会显示该会话为dead状态。

使用screen -wipe命令清除该会话。

使用C-a A给窗口起名字。使用C-a w可以看到这些窗口名字。注意此处窗口指的是一个screen内部的多个tab。如果想为每个screen自定义name，从而避免每次找id的情况，可以使用

新建screen： screen -S name 
    或者对已存在screen使用： ctrl+a :sessionname 自定义name

再次登入时只能显示部分历史日志，此时可以进入选择模式来翻页查看：

Ctrl-a <Esc> 进入选择模式
    <PageUp> 或 Ctrl-u 光标上移一页
    <PageDown> 或 Ctrl-d 光标下移一页
    <Left> 或 h 光标左移一格
    <Down> 或 j 光标下移一行
    <Up> 或 k 光标上移一行
    <Right> 或 l 光标右移一格
    <Space> 选择开始，选择结束
    <Esc> 退出选择模式
    Ctrl-a ] 粘贴选择的内容

[更多命令][Link 1]  
**查看磁盘，文件夹大小：**

df -h
    du -h --max-depth=1

查看当前目录下每个子目录的文件数量
    find . -maxdepth 1 -type d | while read dir; do count=$(find "$dir" -type f | wc -l); echo "$dir : $count"; done

**显示当前绝对路径**

pwd

**查看添加环境变量：**

查看
    export
    或
    echo $PATH
    
    查看所有设置的变量
    set | grep nccl

永久添加(影响当前用户)：
    vim ~/.bashrc
    export PATH="/data/anaconda3/bin:$PATH"
    source ~/.bashrc
    永久添加(影响所有用户)：
    vim /etc/profile
    文档最后添加:
    export PATH="/data/anaconda3/bin:$PATH"
    source /etc/profile

必须source

暂时添加。终端关闭后失效
    export PATH=/data/anaconda3/bin:$PATH

**查找并统计文件数量：**  
f为普通文本，wc进行数量统计

find . -type f -name 'cat*' | wc -l # 12500

**统计文件夹数量：**

find . -type d -name 'ZJL*' | wc -l

[find、grep、wc使用方法简单总结][find_grep_wc]  
[Xargs用法详解(原创)][Xargs]  
**查找文件，随机选取，再移动到特定文件夹：**  
\-n11250表示选取11250个文件，xargs -I file表示将每个文件名逐一赋值给file，然后执行mv file train/cat/

find . -name "cat*" -type f | shuf -n11250 | xargs -I file mv file train/cat/

find . -maxdepth 1 -type f -name 'cat*'| xargs -I file mv file val/cat/

**添加linux用户**

# 添加用户文件夹和用户名
    sudo useradd -d /home/username -m username
    sudo adduser username

# 添加用户登录bash环境
    sudo vim  /etc/passwd 用户后加：/bin/bash

修改(初始化)密码:sudo passwd name
    删除用户：sudo userdel name
    提高用户权限：sudo vim /etc/sudoers
    查看所有用户：cat /etc/passwd
    一句命令行将用户添加sudo权限：sudo adduser <username> sudo（下次登陆才生效）

**kill用户所有进程**

killall --user name1
    pkill -u username

**批量修改文件后缀：**  
awk -F 表示将文件名使用"."拆分

find . -name '*.JPEG' | awk -F "." '{print $2}' | xargs -i -t mv ./{}.JPEG ./{}.jpeg

**AWK：**  
awk是以文件的一行为处理单位的。awk每接收文件的一行，然后执行相应的命令，来处理文本。  
[详细][Link 2]

使用空格或者逗号分割每一行，$0表示整行，$1表示分割的第一个： 
    awk -F '[ ,]+' '{print $3" "$7}' test.txt
    BEGIN、END提前、之后的操作
    ll |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ",size}'
    
    根据第一列是否为1，提取数据。默认空格分隔：
    awk '$1==1{print $0}' tr.libsvm4 > tr_pos

**修改文件夹，文件权限，linux的-bash: ./xx: Permission denied：**  
[权限说明][Link 3]

修改读写权限：
    chmod 777 xx.sh
    chmod 777 olddata/ -R
    
    查看文件权限：
    ls    -l      filename   
    
    查看文件夹权限：
    ls -ld    directoy

文件所属用户组：chgrp -R user smb.conf 或  chgrp username username/
    文件所属拥有者：chown -R root /etc/config.cfg 或  chown username username/
    chown -R root:root /home  #-R递归文件夹子文件夹，root:root用户组，用户名

**查看文件占用者：**

#备注： 如果命令是在普通用户下开启，是没有结果的，需切换管理员权限
    fuser xxx
    fuser -km /datatmp

**逐行读取文件路径，后复制文件：**  
awk对每行数据差分， $2==0过滤数据，注意如果你在windows编辑的map.sh，因为换行\\r\\n与unix下\\n不同，会失败。需使用dos2unix转换一下。

cat map.sh | while read line; do awk -F "," '$2==0 {print $4}' | xargs -i cp ./images/{} ../test/{} ;  done

**两台linux的文件/文件夹传输：**

上传：
    scp /path/filename   username@serverip:/path/
    scp -r local_dir username@serverip:remote_dir
    
    下载：
    scp username@serverip:/path/filename /var/www/local_dir
    scp -r username@serverip:/var/www/remote_dir/  /var/www/local_dir

**清除GPU的内存占用：**

查看哪些进程占用GPU
    sudo fuser -v /dev/nvidia*
    kill进程
    kill -9 12345

2号 SIGINT：中断信号
    9号 SIGKILL：杀死信号
    11号 SIGSEGV：段错误信号
    19号 SIGSTOP：暂停信号（如使用control ＋ z操作）
    18号 SIGCONT：继续信号（对应19号暂停信号）

**搜索目录下所有文件中是否包含某字符串：**

grep -r "test"  /var/log/

**CPU问题排查**

top
    iotop
    sar

ps aux | grep 进程ID 来获取CPU与内存占用率

[CPU问题排查][CPU]

**查看文件前几行并保存文件：**

head -n 10 /etc/profile
    tail  -n 5 /etc/profile
    head -n 10 /etc/profile >>/home/save #保存文件
    cat /home/save
    
    cat filename | tail -n +3000 | head -n 1000 #从第3000行开始，显示1000行
    cat filename| head -n 3000 | tail -n +1000 #显示1000行到3000行
    sed -n '5,10p' filename #查看文件的第5行到第10行

less {文件}	
    
    /字符串	向下搜索“字符串”的功能
    ?字符串	向上搜索“字符串”的功能
    n	重复前一个搜索（与 / 或 ? 有关）
    N	反向重复前一个搜索（与 / 或 ? 有关）
    b	向前翻一页
    d	向后翻半页
    q	退出 less 命令
    空格键	向后翻一页
    向上键	向上翻动一行
    向下键	向下翻动一行

随机选取行数保存：
    shuf -n 916891 te.libsvm > te.libsvm10
    
    如果选取行数超过文件行数，使用r重复采样
    shuf -r -n 15791434 tr_pos > samp_pos

**CPU核数统计：**  
一个物理封装的CPU（通过physical id区分判断）可以有多个核（通过core id区分判断）。  
而每个核可以有多个逻辑cpu（通过processor区分判断）。  
一个核通过多个逻辑cpu实现这个核自己的超线程技术。  
也就是一个物理核包含多个逻辑CPU

**ubuntu查看安装软件：**

# 查看安装
    dpkg -l | grep docker
    #删除软件
    apt-get purge  docker

**sudo无法提升cd权限：**

#默认缺省为获取root 用户
    sudo su 或者sudo -sH

**逐行比较文本差异：**

diff file1 file2

**合并文件：**

将file1.txt和file2.txt合并到file.txt
    cat file1.txt file2.txt > file.txt
    
    将file1.txt追加到file2.txt的末尾
    cat file1.txt >> file2.txt

**随机从文件中固定行，分割文件**  
shuf可以随机从文件中提取多少行数据，但是要实现不重复分割就不行了。

# 首先打乱数据：
    shuf train.txt > train_shuf.txt
    # 再使用tail head分割：
    head -n3079051 train_shuf.txt > va.libsvm0  #使用head提取3079051行
    tail -n+3079052 train_shuf.txt > tr.libsvm0 # 使用tail提取剩余行数，注意+1

**批量添加文件后缀：**

将 abcd.jpg 重命名为 abcd_efg.jpg：
    for var in *.jpg; do mv "$var" "${var%.jpg}_efg.jpg"; done

**回收buffer、cache内存：**

cat /proc/sys/vm/drop_caches #0
    sync   #强迫将未写入的缓存写入硬盘
    echo 3 > /proc/sys/vm/drop_caches  #改成3
    cat /proc/sys/vm/drop_caches
    free -h

**linux查看占用内存最多的程序：**

**挂载共享文件夹：**

showmount --exports nas-server-IP   显示服务器上共享了那些目录。
    mount nas-server-IP:share-dir your-local-dir 然后mount命令

**查看当前用户安装的软件**

comm -23 <(apt-mark showmanual | sort -u) \
             <(gzip -dc /var/log/installer/initial-status.gz |
               sed -n 's/^Package: //p' | sort -u)

**删除文件夹中大量文件**  
[Linux下删除大量文件][Linux]

mkdir empty_dir
    rsync -a --delete empty_dir/    yourdirectory/

cd yourdirectory
    perl -e 'for(<*>){((stat)[9]<(unlink))}'

**快速解压：**

pigz -dc target.tar.gz | tar xf -

**ctr-c ctr-z**

ctr-c 终止程序
    ctr-z 后台挂起程序，可使用fg重新启动
    
    jobs -l 显示后台工作
    kill %1 kill编号为1的后台工作
    
    Ctrl+C - SIGINT
    Ctrl+\ - SIGQUIT
    Ctrl+Z - SIGTSTP
    SIGINT 
    程序终止(interrupt)信号, 在用户键入INTR字符(通常是Ctrl-C)时发出，用于通知前台进程组终止进程。
    SIGQUIT 
    和SIGINT类似, 但由QUIT字符(通常是Ctrl-)来控制. 进程在因收到SIGQUIT退出时会产生core文件, 在这个意义上类似于一个程序错误信号。
    SIGTERM 
    程序结束(terminate)信号, 与SIGKILL不同的是该信号可以被阻塞和处理。通常用来要求程序自己正常退出，shell命令kill缺省产生这个信号。如果进程终止不了，我们才会尝试SIGKILL。
    SIGSTOP 
    停止(stopped)进程的执行. 注意它和terminate以及interrupt的区别:该进程还未结束, 只是暂停执行. 本信号不能被阻塞, 处理或忽略

**cd切换回上一操作所在路径**

cd -

**alias：**

alias ll='ls -l'
    ll /opt/cores/

**core dump:**  
[gdb调试常用实用命令和core dump文件的生成][gdb_core dump]

# 启动
    gdb7.12 /opt/cores/embedding_server.1565355483.2829246 /opt/cores/core.embedding_server.1565355483.2829246
    # 列出程序崩溃时的堆栈信息
    bt
    # 退出
    q

gdb EXEFILE COREFILE
    
    #或
    gdb -c | --core COREFILE EXEFILE
    
    #或
    gdb COREFILE
    file EXEFILE

[Link 1]: https://blog.csdn.net/zxkln/article/details/6711244
[find_grep_wc]: https://blog.csdn.net/kentzhang_/article/details/50538777
[Xargs]: http://czmmiao.iteye.com/blog/1949225
[Link 2]: https://www.cnblogs.com/ginvip/p/6352157.html
[Link 3]: https://blog.csdn.net/cd15109139570/article/details/79744875
[CPU]: https://www.cnblogs.com/Security-Darren/p/4700384.html
[Linux]: https://www.cnblogs.com/linxiyue/p/3536925.html
[gdb_core dump]: https://eric-gcm.iteye.com/blog/2149842