python编写shell脚本详细讲解

妖狐艹你老母 2022-08-11 00:40 156阅读 0赞

今天需要编写一个shell脚本实现App自动生成的功能，需要处理HTTP REST请求，解析JSON，处理文件，执行命令等，本来想用shell搞定，但感觉比较麻烦，还是用python吧，虽然以前用Python都是在树莓派上玩的，多尝试一种方法总是好的。

虽然我受linux的影响甚深，但是对于\*nix 里随处可见的sh脚本却是讨厌之极。为什么讨厌呢？首先是因为sh脚本那莫名其妙的语法，感觉就像随写随扔的程序，完全没有任何美感可言。其次是sh脚本的处理能力还是比较弱的，在文本处理、XML处理还有网络[编程][Link 1]方面，基本上都要借助于perl,awk等一堆程序，语法都比较麻烦，对于不经常用的人来说，记忆困难。

python可以做shell脚本吗？ 首先介绍一个函数：  
  
os.system(command)  
  
这个函数可以调用shell运行命令行command并且返回它的返回值。试一下在 python的解释器里输入os.system(”ls -l”)，就可以看到”ls”列出了 当前目录下的文件。可以说，通过这个函数，python就拥有了shell的所有能力。呵呵。。不过，通常这条命令不需要用 到。因为shell常用的那些命令在python中通常有对应而且同样简洁的写法。  
  
shell中最常用的是ls命令，python对应的写法是：os.listdir(dirname)，这个函数返回字符串列表，里面是所有的文件名，不过不包含”.”和”..”。如果要遍历 整个目录的话就会比较复杂一点。我们等下再说吧。先在解释器里试一下：  
  
>>> os.listdir(”/”)  
  
\[’tmp’, ‘misc’, ‘opt’, ‘root’, ‘.autorelabel’, ’sbin’, ’srv’, ‘.autofsck’, ‘mnt’, ‘usr’, ‘var’, ‘etc’, ’ selinux’, ‘lib’, ‘net’, ‘lost found’, ’sys’, ‘media’, ‘dev’, ‘proc’, ‘boot’, ‘home’, ‘bin’\]  
  
就像这样，接下去所有命令都可以在python的解释器里直接运行观看结果。  
  
对应于cp命令的是：shutil.copy(src,dest)，这个函数有两个参数，参数src是指源文件的名字，参数dest则是目标文件或者目标目录的名字。 如果dest是一个目录名，就会在那个目录下创建一个相同名字的文件。与shutil.copy函数相类似的是 shutil.copy2(src,dest)，不过copy2还会复制最后存取时间和最后更新时间。  
  
不过，shell的cp命令还可以复制目录，python的shutil.copy却不行，第一个参数只能是一个文件。这怎么办？其实，python还有个shutil.copytree(src,dst\[,symlinks\]) 。参数多了一个symlinks，它是一个布尔值，如果是True的话就创建符号链接。  
  
移动或者重命名文件和目录呢？估计被聪明的朋友猜到了，shutil.move(src,dst)，呵呵。。与mv命令类似，如果src和dst在同一个文件 [系统][Link 2] 上，shutil.move只是简单改一下名字，如果src和dst在不同的文件系统上，shutil.move会先把src复制到dst，然后删除src文件 。看到现在，大多数朋友应该已经对 python的能力有点眉目了，接下来我就列个表，介绍一下其它的函数：  
  
os.chdir(dirname)  
把当前工作目录切换到dirname下  
  
os.getcwd()  
返回当前的工作目录路径  
  
os.chroot(dirname)  
把dirname作为进程的根目录。和\*nix下的chroot命令类似  
  
os.chmod(path,mode)  
更改path的权限位。mode可以是以下值(使用or)的组合：  
  
os.S\_ISUID  
os.S\_ISGID  
os.S\_ENFMT  
os.S\_ISVTX  
os.S\_IREAD  
os.S\_IWRITE  
os.S\_IEXEC  
os.S\_IRWXU  
os.S\_IRUSR  
os.S\_IWUSR  
os.S\_IXUSR  
os.S\_IRWXG  
os.S\_IRGRP  
os.S\_IWGRP  
os.S\_IXGRP  
os.S\_IRWXO  
os.S\_IROTH  
os.S\_IWOTH  
os.S\_IXOTH  
  
具体它们是什么含义，就不仔细说了，基本上就是R代表读,W代表写，X代表执行权限。USR 代表用户，GRP代表组，OTH代表其它。  
  
os.chown(path,uid,gid)  
改变文件的属主。uid和gid为-1的时候不改变原来的属主。  
  
os.link(src,dst)  
创建硬连接  
  
os.mkdir(path,\[mode\])  
创建目录。mode的意义参见os.chmod()，默认是0777  
  
os.makedirs(path,\[mode\])  
和os.mkdir()类似，不过会先创建不存在的父目录。  
  
os.readlink(path)  
返回path这个符号链接所指向的路径  
  
os.remove(path)  
删除文件，不能用于删除目录  
  
os.rmdir(path)  
删除文件夹，不能用于删除文件  
  
os.symlink(src,dst)  
创建符号链接  
  
shutil.rmtree(path\[,ignore\_errors\[,onerror\]\])  
  
删除文件夹  
介绍了这么多，其实只要查一下os和shutil两个模块的文档就有了，呵呵。。真正编写 shell脚本的时候还需要注意：  
  
1.环境变量。python的环境变量保存在os.environ这个字典里，可以用普通字典的方法修改它，使用system启动其它程序的时候会自动被继承。比如：  
  
os.environ\[”fish”\]=”nothing”  
不过也要注意，环境变量的值只能是字符串。和shell有些不同的是，python没有 export环境变量这个概念。为什么没有呢？因为python没有必要有:-)  
  
2.os.path这个模块里包含了很多关于路径名处理的函数。在shell里路径名处理好像不是很重要，但是在python里经常需要用到。最常用的两个是分离和合并目录名和文件名：  
  
os.path.split(path) -> (dirname,basename)  
这个函数会把一个路径分离为两部分，比如：os.path.split(”/foo /bar.dat”)会返回(”/foo”,”bar.dat”)  
  
os.path.join(dirname,basename)  
这个函数会把目录名和文件名组合成一个完整的路径名，比如：os.path.join(”/foo”,”bar.dat”)会返回”/foo/bar.dat”。这个函数和os.path.split()刚好相反。  
  
还有这些函数：  
  
os.path.abspath(path)  
把path转成绝对路径  
  
os.path.expanduser(path)  
把path中包含的”~”和”~user”转换成用户目录  
  
os.path.expandvars(path)  
根据环境变量的值替换path中包含的”$name”和”$\{name\}”，比如环境变量 FISH=nothing，那os.path.expandvars(”$FISH/abc”)会返回”nothing/abc”  
  
os.path.normpath(path)  
去掉path中包含的”.”和”..”  
  
os.path.splitext(path)  
把path分离成基本名和扩展名。比如：os.path.splitext(”/foo /bar.tar.bz2″)返回(’/foo/bar.tar’, ‘.bz2′)。要注意它和os.path.split()的区别  
  
3.在os模块有一个很好用的函数叫os.stat()没有介绍，因为os.path模块里包含了一组和它具有同样功能的函数，但是名字更好记一点。  
  
os.path.exists(path)  
判断文件或者目录是否存在  
  
os.path.isfile(  
判断path所指向的是否是一个普通文件，而不是目录  
  
os.path.isdir(path)  
  
判断path所指向的是否是一个目录，而不是普通文件  
  
os.path.islink(path)  
判断path所指向的是否是一个符号链接  
  
os.path.ismount(path)  
判断path所指向的是否是一个挂接点(mount point)  
  
os.path.getatime(path)  
返回path所指向的文件或者目录的最后存取时间。  
  
os.path.getmtime(path)  
返回path所指向的文件或者目录的最后修改时间  
  
os.path.getctime(path)  
返回path所指向的文件的创建时间  
  
os.path.getsize(path  
返回path所指向的文件的大小  
  
4.应用python编写shell脚本经常要用到os,shutil,glob(正则表达式的文件名),tempfile(临时文件),pwd(操作/etc/passwd文件),grp(操作/etc/group文件),commands(取得一个命令的输出)。前面两个已经基本上介绍完了，后面几个很简单，看一下文档就可以了。  
  
5.sys.argv是一个列表，保存了python程序的命令行参数。其中 sys.argv\[0\]是程序本身的名字。  
不能光说不练，接下来我们就编写一个用于复制文件的简单脚本。前两天叫我写脚本的同事有个几万个文件的目录，他想复制这些文件到其它的目录，又不能直接复制目录本身。他试了一下”cp src/\* dest/”结果报了一个命令行太长的错误，让我帮他写一个脚本。操起python来：

import sys,os.path,shutil
    for f in os.listdir(sys.argv[1]):
    shutil.copy(os.path.join(sys.argv[1],f),sys.argv[2])

再试一下一个例子——把一个文件夹下的所有文件重命名成 10001～10999。可以这样写：

import os.path,sys
    dirname=sys.argv[1]
    i=10001
    for f in os.listdir(dirname):
    src=os.path.join(dirname,f)
    if os.path.isdir(src):
    continue
    os.rename(src,str(i))
    i =1

[Link 1]: http://www.2cto.com/kf
[Link 2]: http://www.2cto.com/os/