5 数组转xml_Bash拍了拍你说：掌握了我，工作效率起码提高5倍

客官°小女子只卖身不卖艺 2023-01-07 08:49 103阅读 0赞

![9350dd161b92d2b2393d8eaedef23470.png][] **happy科研**

关注

![ddcc0ea59c4a3ddcd3aa2f3333cf1741.gif][]

**Hi～新朋友，记得点蓝字关注我们哟**

![60cc45ca5cb82f7761c521232470e05a.gif][]

平时科研经常接触LINUX平台的小伙伴对shell一定不陌生，但是我们大多数时候使用的就是基础的操作，如cd、ls、mkdir、cp等等。那你们知道它也可以进行强大的数据处理和提高模式运行的效率吗？

下面给大家讲一讲shell编程在数据处理和模式运行中的妙用。主要有三个方面的内容：

1. Shell的简介

2. bash的基本语法，包括变量、数值运算、判断和循环

3. 两个实例介绍

**1.shell简介**

Shell是用户和Linux(或者更准确的说，是用户和Linux内核)之间的接口程序。我们在提示符下输入的每个命令都由Shell先解释然后传给Linux内核。所以，可能每个使用Linux服务器或者大型机的人对Shell编程都不陌生。

Bash是大多数UNIX操作系统默认的Shell，系统提示符为“$”，简称为B-Shell，所以我们下面的内容和个例主要是基于Bash的介绍。

作为一门编程语言，它与常用的Ncl和Python一样，都可以进行交互式操作和脚本的批量操作。

<table> 
 <tbody> 
  <tr> 
   <td></td> 
   <td><p>交互式</p></td> 
   <td><p>脚本</p></td> 
  </tr> 
  <tr> 
   <td><p>例子</p></td> 
   <td><p>Cd &nbsp;../..</p><p>Ls -lh</p><p>Mkdir &nbsp;program</p></td> 
   <td><p>把命令都写入aaa.sh，然后执行bash &nbsp;aaa.sh</p></td> 
  </tr> 
  <tr> 
   <td><p>优缺点</p></td> 
   <td><p>方便并且可以随时看见结果；</p><p>但是不适合处理复杂问题</p></td> 
   <td><p>适合进行复制的处理；</p><p>但是脚本编写的成本较高</p></td> 
  </tr> 
 </tbody> 
</table>

**2.Bash基本语法**

2.1

变量

定义变量的时候等号两端不允许有空格，如：

var=30

如果有空格，需要用引号将变量值括起来。如果需要使用该变量，需要加上$，表示使用它的值，如$var，否则会输出变量名。输出的命令是：

echo $var

结果返回30。

我们经常会看见输出变量的时候会带有引号，如双引号、单引号，这与正常的变量有何差异呢？

![f36740c202185def2a42194791d3e3be.png][]

除此之外，还有种倒单引号，它的内容只能是命令。

2.2

数值运算

*  基本的运算有＋(加)、－(减)、﹨\*(乘)、／(除)、％(余数)。
 *  运算的实现方式有4种，分别是：(())、let、expr、bc。
 *  除了bc支持浮点运算，其他都只支持整数运算。Expr运算时在运算符前后需要添加空格。

例1：用上诉的方法创建3\*(5+2)

![b98c68bd4af49533fcf08d671fa11c24.png][]

例2：用上诉方法实现“数值+2”

![be6fd96c53826345674067a51a4e3cc6.png][]

2.3

条件判断

<table> 
 <tbody> 
  <tr> 
   <td><p>基本格式：</p><p>if 条件1then 命令1else 命令3if</p></td> 
   <td><p>扩充版的格式：</p><p>if 条件1then 命令1elif 条件2then 命令2</p><p>fielse 命令3fi</p></td> 
  </tr> 
 </tbody> 
</table>

判断的内容：

![8aca5e4a08721bd70d53d537f7697807.png][]

例3：判断文件是否存在，若存在，则输入“ok”；若不存在，则输入“file not exist”。

if [ -f aaa.txt ];thenecho "ok"elseecho "file not exist"fi

例4：输入当前文件夹的一级子目录中文件名字

# 将ls的结果保存到变量CUR_DIR中CUR_DIR=`ls`# 显示ls的结果echo $CUR_DIRfor val in $CUR_DIRdo# 若val是文件，则输出该文件名if [ -f $val ];thenecho "FILE: $val"fidone

2.4

循环

<table> 
 <tbody> 
  <tr> 
   <td><p>For循环</p><p>基本格式：</p><p>for variable in list</p><p>&nbsp; &nbsp;do</p><p>&nbsp;&nbsp;&nbsp; &nbsp;commands</p><p>&nbsp; &nbsp;done</p></td> 
   <td><p>While语句</p><p>基本语句格式为：</p><p>while test-condition</p><p>&nbsp; &nbsp;do</p><p>&nbsp;&nbsp;&nbsp; &nbsp;commands</p><p>&nbsp; &nbsp;done</p></td> 
  </tr> 
 </tbody> 
</table>

2.5

数组

Bash中数组是通过空格符号隔开，并且是包含在()里面。引用时从序号0开始。如：Array=(23.5 27 29 31 25.7)

其中array\[0\]=23.5，array\[4\]=25.7

例5：数组的相应操作

![904875544e735244fdaea705be8c4cba.png][]

**3.个例展示**

前面展示的可能是我们平时编写脚本经常碰到的问题，但是我们设计到数据处理时，往往交互式命令不能满足需求，我们得通过脚本批量执行来达到我们的要求。

a.首先，我们可以通过touch data\_processing.sh来创建一个bash脚本;

b.然后，我们可以通过vi编辑，或者sublime/VS studio等进行编辑;

c.最后，通过bash data\_processing.sh运行这个脚本即可。

注：值得提醒，如果是在windows下进行编辑的，如sublime下进行的编辑，在运行之前，一定要通过 dos2unix data\_processing.sh  来进行格式转换。不然容易报错，一定切记切记！

例6：下载CMIP5的降尺度的数据，包括historical、RCP45和RCP85，20个左右的模式的逐日数据，变量包括pr，tasmin和tasmax。由于一年的数据将近700M，因此需要在下载的过程中就进行预处理，不然会需要9T的空间存储。数据下载链接为：http://nasanex.s3.amazonaws.com/NEX-GDDP/BCSD/historical/day/atmos/pr/r1i1p1/v1.0/pr\_day\_BCSD\_historical\_r1i1p1\_ACCESS1-0\_1950.nc

(这里使用shell+cdo进行下载和预处理。)

![6c69fe5c53b9e784006b86207beaf559.png][]

*  要点1：通过循环，对变量、模式、试验情景和年份进行循环，然后批量下载和处理；
 *  要点2：通过wget进行下载之后，然后通过cdo进行预处理。将逐日转换为逐月数据并筛选区域之后，可以让数据从700M变为2M左右。

例7：问题描述：我们运行模式时，如运行CESM模式，我们一般会经历几个操作步骤，如进行环境的配置；新建个例；进行setup和build；提交作业等。如果我们是在服务器里面通过交互式的命令进行操作，就比较浪费时间，如CESM的build可能耗时较多，得需要十分钟才能结束。因此，我们可以将这些命令都放在一个脚本里面。如下所示：

#! /bin/csh -f#---------------------------------------------                                                                                                                                         ##   case #---------------------------------------------    setenv CASE FHIST_TEST#---------------------------------------------                                                                                                                                         ##   define directories#---------------------------------------------                                                                                                                                         setenv MACH         yangxksetenv HOMEROOT     /public/home/diqiuxitong07/yangxianke/CESM_home/CESM2.1.1setenv RUNROOT      $HOMEROOT/output/$CASE/setenv SCRIPTSROOT  $HOMEROOT/cime/scriptssetenv CASEROOT     $SCRIPTSROOT/$CASEsetenv OUTPUTDIR    $HOMEROOT1/output/$CASE/run#------------------## STEP1 create new case 1.9x2.5_tx1v1#------------------rm -rf $CASEROOTrm -rf $RUNROOTcd $SCRIPTSROOT./create_newcase --case $CASE --res f09_f09_mg17 --compset FHIST --compiler intel --mach $MACHecho '----------------------------------------------------------------------'echo '              create case successfully                                'echo '----------------------------------------------------------------------'#------------------## STEP2 change pes #------------------cd $CASEROOT./xmlchange --file env_mach_pes.xml --id NTASKS_ATM --val '-4'./xmlchange --file env_mach_pes.xml --id NTASKS_PER_INST_ATM --val '96' ./xmlchange --file env_mach_pes.xml --id NTASKS_LND --val '-4'./xmlchange --file env_mach_pes.xml --id NTASKS_PER_INST_LND --val '96' ./xmlchange --file env_mach_pes.xml --id NTASKS_OCN --val '-4'./xmlchange --file env_mach_pes.xml --id NTASKS_PER_INST_OCN --val '96' ./xmlchange --file env_mach_pes.xml --id NTASKS_WAV --val '-4'./xmlchange --file env_mach_pes.xml --id NTASKS_PER_INST_WAV --val '96' ./xmlchange --file env_mach_pes.xml --id NTASKS_GLC --val '-4'./xmlchange --file env_mach_pes.xml --id NTASKS_PER_INST_GLC --val '96' ./xmlchange --file env_mach_pes.xml --id NTASKS_ICE --val '-4'./xmlchange --file env_mach_pes.xml --id NTASKS_PER_INST_ICE --val '96' ./xmlchange --file env_mach_pes.xml --id NTASKS_ROF --val '-4'./xmlchange --file env_mach_pes.xml --id NTASKS_PER_INST_ROF --val '96' # ## changing  runtime options# ./xmlchange  --file env_run.xml   --id RUN_STARTDATE --val '1979-01-01'# ./xmlchange  --file env_run.xml   --id RUN_REFDATE   --val '1979-01-01'# ./xmlchange  --file env_run.xml  --id  STOP_N       --val '10'# ./xmlchange  --file env_run.xml  --id  STOP_OPTION  --val 'ndays'#------------------## STEP3 setup #------------------./case.setup --clean./case.setup./preview_runecho '----------------------------------------------------------------------'echo '              setup successfully                                'echo '----------------------------------------------------------------------'#------------------## building#------------------./case.build ./case.build --clean./case.build# echo '----------------------------------------------------------------------'# echo '              build successfully                                '# echo '----------------------------------------------------------------------'#------------------## STEP4 revise parameter #------------------cd $RUNROOT/runmkdir timingmkdir ./timing/checkpointscp ../bld/cesm.exe .cp /5600/cesm_tutorial/scripts/cesm2.1.1/FHIST_f19/cesm2.job .cp /public/home/diqiuxitong07/yangxianke/CESM_home/five_vars_replace.nc .cp /public/home/diqiuxitong07/yangxianke/CESM_home/CESM2.1.1/output/FHIST_f09_1023/run/test.ncl ./cam_vars_replace.nclsed -i '/&cam_initfiles_nl/i\&cam_history_nl  \n nhtfrq=0,-6 \n mfilt=1,4 \n empty_htapes=.false. \n fincl2="U:I","Q:A","T:M","TS:A","TS:I" \n/' atm_insed -i 's/f.e20.FHIST.f09_f09.cesm2_1.001_v2.cam.i.1979-01-01-00000.nc/cam_vars_replace.nc/' atm_insed -i 's/nodes=1/nodes=4/' cesm2.jobsed -i '11c mpirun -np 96 ./cesm.exe' cesm2.jobsed -i 's/stop_n = 5/stop_n = 4/' drv_insed -i 's/restart_n = 5/restart_n = 2/' drv_insed -i 's/FHIST_f09_1023/FHIST_TEST/' cam_vars_replace.nclsed -i 's/var_replace.nc/cam_vars_replace.nc/' cam_vars_replace.nclncl cam_vars_replace.nclqsub ./cesm2.jobcat cesm2.job

上诉程序的主要步骤：

*  设置并修改环境变量，设置路径
 *  创建新的case个例
 *  修改运行的相应参数
 *  setup和buliding
 *  修改并替换初始场
 *  提交作业

参考资料：

1.https://www.cnblogs.com/skywang12345/archive/2013/05/30/3106570.html

2.汪君老师shell课件上的部分内容

在此表示感谢。

我知道你**在看**哟

![195b50b9a4a76cfc982cb2cb876e5032.png][] ![2ddbd52c8feb3035d0afadd36e889ec7.png][]

[9350dd161b92d2b2393d8eaedef23470.png]: /images/20221119/e7d51ed5262948878654404f9dea63e5.png
[ddcc0ea59c4a3ddcd3aa2f3333cf1741.gif]: /images/20221119/ce104e4282ae4ea9829b38b5a39d2bdf.png
[60cc45ca5cb82f7761c521232470e05a.gif]: /images/20221119/5241d177e62d45e4bc40714a127c5640.png
[f36740c202185def2a42194791d3e3be.png]: /images/20221119/b9488f596f1849bca4609f0b85ad8d98.png
[b98c68bd4af49533fcf08d671fa11c24.png]: /images/20221119/82289c49b1b043f4a273ea75d523ab7f.png
[be6fd96c53826345674067a51a4e3cc6.png]: /images/20221119/2f28b6e7892d405cbbde277392a7bf6f.png
[8aca5e4a08721bd70d53d537f7697807.png]: /images/20221119/38b0f923618c4a94acb1ffc6757a4e00.png
[904875544e735244fdaea705be8c4cba.png]: /images/20221119/72e982963fb44e3cbea6e22c34a7176d.png
[6c69fe5c53b9e784006b86207beaf559.png]: /images/20221119/7dc54860a8b04897a37ff37e12fe67b3.png
[195b50b9a4a76cfc982cb2cb876e5032.png]: https://img-blog.csdnimg.cn/img_convert/195b50b9a4a76cfc982cb2cb876e5032.png
[2ddbd52c8feb3035d0afadd36e889ec7.png]: /images/20221119/a69f983c970f47489cd94f955f93ea7f.png