安装zeppelin安装spark ha集群

超、凢脫俗 2022-07-12 02:48 224阅读 0赞

`安装zeppelin`

`1` `.默认安装好spark集群`

`2` `.安装zeppelin`

`    ` `1` `.解压安装包`

`        ` `tar zxvf zeppelin-` `0.5` `.` `5` `-incubating-bin-all.tgz`

`    ` `2` `.配置环境变量`

`        ` `vim /etc/profile`

`        `

`        ` `#zeppelin`

`        ` `export ZEPPELIN_HOME=/opt/zeppelin-` `0.5` `.` `5`

`        `

`        ` `#CLASSPATH`

`        ` `export CLASSPATH=$CLASSPATH:$ZEPPELIN_HOME/lib`

`        `

`        ` `#PATH`

`        ` `export PATH=$PATH:$ZEPPELIN_HOME/bin`

`        `

`        ``保存退出`

`        ` source /etc/profile

**我们的/etc/profile配置如下**

export LANG=zh\_CN.GBK

export LC\_ALL=zh\_CN.GBK

export PATH=$PATH:/usr/local/python2.7.6/bin/

export JAVA\_HOME=/usr/java/jdk1.8.0\_101

export CLASSPATH=$JAVA\_HOME/lib/tools.jar

export PATH=$JAVA\_HOME/bin:$PATH

export PATH="/usr/local/mysql/bin:$PATH"

\#set for nodejs

export NODE\_HOME=/usr/local/nodejs

export PATH=$NODE\_HOME/bin:$PATH

PATH="/usr/local/mysql/bin:$PATH"

`    ` `3` `.修改配置文件`

`        ` `cd /opt/zeppelin-` `0.5` `.` `5`

`        `

`        ` `1` `.根据模板复制相关配置文件`

`            ` `cp zeppelin-env.sh.template zeppelin-env.sh`

`            ` `cp zeppelin-site.xml.template zeppelin-site.xml`

`        ` `2` `.创建相关目录`

`            ` `mkdir /opt/zeppelin-` `0.5` `.` `5` `/logs`

`            ` `mkdir /opt/zeppelin-` `0.5` `.` `5` `/tmp`

`        ` `3` `.修改配置文件参数`

`        `

`            ` `####zeppelin-env.sh####`

`            ` `export JAVA_HOME=/usr/java/jdk1.` `8` `.0_65`

`            ` **`export HADOOP_CONF_DIR=/opt/hadoop-``2.5``.``2``/etc/hadoop   ``//如果需要读取hdfs的文件  则必须配置此条`**

`            ` **`export MASTER=spark:``//hadoop.master:7077      //使用spark 集群模式`**

`            ` `export SPARK_HOME=/opt/spark-` `1.6` `.` `0`

`            ` `export SPARK_SUBMIT_OPTIONS=` `"--driver-memory 500M --executor-memory 500m"`    `//可以根据实际内存情况进行调整`

`            ` `export ZEPPELIN_JAVA_OPTS=` `"-Dspark.executor.memory=500m -Dspark.cores.max=1"`   `//可以根据实际内存情况进行调整`

`            ` `export ZEPPELIN_MEM=` `"-Xmx500m -XX:MaxPermSize=500m"`      `//可以根据实际内存情况进行调整`

`            ` `export ZEPPELIN_LOG_DIR=/opt/zeppelin-` `0.5` `.` `6` `/logs`

`            `

**我们的zeppelin-env.sh配置如下**

export  SPARK\_MASTER\_IP=127.0.0.1

export  SPARK\_LOCAL\_IP=127.0.0.1

export ZEPPELIN\_MEM="-Xms1024m -Xmx16384m -XX:MaxPermSize=16384m"

`            `

`            ` `####zeppelin-site.xml####`

`            ` `<property>`

`              ` `<name>zeppelin.server.addr</name>`

`              ` `<value>hadoop.slaver3</value>         ` `//主机名或Ip  当前主机`

`              ` `<description>Server address</description>`

`            ` `</property>`

`            ` `<property>`

`              ` `<name>zeppelin.server.port</name>`

`              ` `<value>` `8084` `</value>                        ` **`//不一定非要一致  但这个端口是通过web访问的端口`**

`              ` `<description>Server port.</description>`

`            ` `</property>`

`            `

`        ` `4` `.启动`

`            ` `zeppelin-daemon.sh start`

`        ` `5` `.验证`

`            ` `主机名:端口    ` `//能显示界面则表示安装成功`

`           `

# [安装spark ha集群][spark ha] #

`1` `.默认安装好hadoop+zookeeper`

`2` `.安装scala`

`    ` `1` `.解压安装包`

`        ` `tar zxvf scala-` `2.11` `.` `7` `.tgz`

`    ` `2` `.配置环境变量`

`        ` `vim /etc/profile`

`        `

`        ` `#scala`

`        ` `export SCALA_HOME=/opt/scala-` `2.11` `.` `7`

`        `

`        ` `#CLASSPATH`

`        ` `export CLASSPATH=$CLASSPATH:$SCALA_HOME/lib`

`        `

`        ` `#PATH`

`        ` `export PATH=$PATH:$SCALA_HOME/bin`

`        `

`        ` `保存退出`

`        `

`        ` `source /etc/profile`

`    ` `3` `.验证`

`        ` `scala -version`

`                `

`3` `.安装spark`

`    ` `1` `.解压安装包`

`        ` `tar zxvf spark-` `1.6` `.` `0` `-bin-hadoop2.` `4` `.tgz`

`    ` `2` `.配置环境变量`

`        ` `vim /etc/profile`

`        `

`        ` `#spark`

`        ` `export SPARK_HOME=/opt/spark-` `1.6` `.` `0`

`        `

`        ` `#CLASSPATH`

`        ` `export CLASSPATH=$CLASSPATH:$SPARK_HOME/lib`

`        `

`        ` `#PATH`

`        ` `export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin`

`        `

`        ` `保存退出`

`        `

`        ``source /etc/profile`

**`我们的/etc/profile配置如下`**

export LANG=zh\_CN.GBK

export LC\_ALL=zh\_CN.GBK

export PATH=$PATH:/usr/local/python2.7.6/bin/

export JAVA\_HOME=/usr/java/jdk1.8.0\_101

export CLASSPATH=$JAVA\_HOME/lib/tools.jar

export PATH=$JAVA\_HOME/bin:$PATH

export PATH="/usr/local/mysql/bin:$PATH"

\#set for nodejs

export NODE\_HOME=/usr/local/nodejs

export PATH=$NODE\_HOME/bin:$PATH

PATH="/usr/local/mysql/bin:$PATH"

`        `

`    ` `3` `.修改配置文件`

`        ` `1` `.根据模板复制相关配置文件`

`            ` `cp spark-env.sh.template spark-env.sh`

`            ` `cp slaves.template slaves`

`            ` `cp log4j.properties.template log4j.properties`

`            ` `cp spark-defaults.conf.template spark-defaults.conf`

`        ` `2` `.创建相关目录`

`            ` `mkdir /opt/spark-` `1.6` `.` `0` `/logs`

`            ` `mkdir /opt/spark-` `1.6` `.` `0` `/tmp`

`            ` **`hadoop fs -mkdir /spark ``//在hdfs上创建存储spark的任务日志文件`**

`        ` `3` `.修改配置文件参数`

`            ` `####spark-env.sh#### 最后加入 其中hadoop.master为主节点 hadoop.slaver1为备份主节点`

`            ` `export SPARK_DAEMON_JAVA_OPTS=` `"-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop.master:2181,hadoop.slaver1:2181 -Dspark.deploy.zookeeper.dir=/spark"`

`            ` `export JAVA_HOME=/usr/java/jdk1.` `8` `.0_65`

`            ` `export SPARK_WORKER_CORES=` `1`

`            ` `export SPARK_WORKER_INSTANCES=` `1`

`            ``export SPARK_WORKER_MEMORY=1g`

**`我们的spark-env.sh配置如下`**

export SPARK\_DIST\_CLASSPATH=$(/home/haoren/soft/hadoop/bin/hadoop classpath)

\#export SPARK\_CLASSPATH=$SPARK\_CLASSPATH:/home/haoren/soft/mysql-connector-java-5.1.40.jar

\#export SPARK\_MASTER\_PORT=17077

\#export SPARK\_MASTER\_HOST=222.192.205.26

\#export SPARK\_MASTER\_WEBUI\_PORT=18082

`            `

`            ` `####slaves####将所有的从节点主机名加入`

`            ` `hadoop.slaver1`

`            ` `hadoop.slaver2`

`            ` `hadoop.slaver3`

`            `

`            ` `####log4j.properties####`

`            ` `无需修改`

`            `

`            ` `####spark-defaults.conf####`

`            ` `spark.eventLog.enabled  ` `true`

`            ` `spark.eventLog.dir      hdfs:` `//ns1:8020/spark`

`            ` `spark.history.fs.logDirectory      hdfs:` `//ns1:8020/spark`

`            ` `spark.eventLog.compress ` `true`

`            `

`    ` `4` `.分发到各个节点`

`        ` `scp -r /opt/spark-` `1.6` `.` `0`  `hadoop` `@hadoop` `.slaver1:/opt`

`        ` `scp -r /opt/spark-` `1.6` `.` `0`  `hadoop` `@hadoop` `.slaver2:/opt`

`        ` `scp -r /opt/spark-` `1.6` `.` `0`  `hadoop` `@hadoop` `.slaver3:/opt`

`    ` `5` `.启动`

`        ` `//先启动zookeeper 和 hdfs`

`        ` `sbin/start-all.sh   ` `//注意切换目录  不然跟hadoop的start-all 冲突`

`        `

`        ` `spark-shell --master spark:` `//hadoop.master:7077  //集群模式启动客户端`

`        ` `spark-shell     ` `//单机模式启动客户端`

`    ` `6` `.验证`

`        ` `1` `.jps`

`        ` `2` `.web`

`            ` `节点主机名:` `8080`   `//如果采用默认端口的話则是8080  主节点web`

`            ` `节点主机名:` `18080`   `//主节点 历史任务web`

`            ` `节点主机名:` `4040`    `//子节点正在进行任务web`

`        ` `3` `.HA`

`            ` `在备份主机节点执行 start-master.sh命令`

`            ` `然后在主机节点把master进程kill掉，此时会自行切换至备份节点(需要几秒钟的缓冲时间)`

`    ` `7` `.常用命令`

`        ` `1` `.启动`

`            ` `start-all.sh  ` `//注意切换目录`

`            ` `start-master.sh`

`            ` `stop-master.sh`

`            ` `start-slave.sh 主节点:` `7077`   `//默认端口  如果不修改的話`

`            ` `start-history-server.sh   ` `//启动任务历史服务`

`        ` `2` `.使用`

`            ` `1` `.本机模式`

`                ` `运行 spark-shell`

`            ` `2` `.yarn`

`                ` `打包运行jar包`

`                ` `spark-submit`

`                ` `--master spark:` `//spark113:7077`

`                ` `--` `class`  `org.apache.spark.examples.SparkPi`

`                ` `--name Spark-Pi --executor-memory 400M`

`                ` `--driver-memory 512M`

`                ` `/opt/spark-` `1.6` `.` `0` `/lib/spark-examples-` `1.6` `.` `0` `-hadoop2.` `4.0` `.jar`

`            ` `3` `.wordcount`

`                ` `val file=sc.textFile(` `"hdfs://ns1:8020/huangzhijian/test.dat"` `)`

`                ` `val count=file.flatMap(line => line.split(` `" "` `)).map(word => (word,` `1` `)).reduceByKey(_+_)`

`                ` `count.saveAsTextFile(` `"hdfs://ns1:8020/output"` `)  //需保证hdfs上该目录不存在`

`            `

转自 http://www.cnblogs.com/ciade/p/5141264.html

cd /home/haoren/soft  
  
  
总用量 1482780  
\-rw-r--r--  1 haoren haoren 214092195 10月 11 04:25 hadoop-2.7.3.tar.gz  
drwxr-xr-x 11 haoren haoren      4096 10月 11 08:38 hadoop-2.7.3  
\-rw-r--r--  1 haoren haoren 187275308 10月 12 04:06 spark-2.0.1-bin-hadoop2.7.tgz  
\-rw-r--r--  1 haoren haoren 541835755 10月 12 15:04 zeppelin-0.6.1-bin-all.tgz  
\-rw-r--r--  1 haoren haoren 573146004 10月 18 10:36 zeppelin-0.6.2-bin-all.tgz  
\-rw-rw-r--  1 haoren haoren    983911 10月 18 13:25 mysql-connector-java-5.1.38.jar  
\-rw-rw-r--  1 haoren haoren    990924 10月 19 03:47 mysql-connector-java-5.1.40.jar  
lrwxrwxrwx  1 haoren haoren        43 10月 19 04:12 spark -> /home/haoren/soft/spark-2.0.1-bin-hadoop2.7  
lrwxrwxrwx  1 haoren haoren        40 10月 20 08:49 zeppelin -> /home/haoren/soft/zeppelin-0.6.2-bin-all  
drwxr-xr-x 14 haoren haoren      4096 10月 21 03:51 spark-2.0.1-bin-hadoop2.7  
drwxrwxr-x  2 haoren haoren      4096 11月 17 11:52 python  
drwxrwxr-x  3 haoren haoren      4096 11月 24 10:11 hadoop  
drwxr-xr-x 13 haoren haoren      4096 3月  14 04:36 zeppelin-0.6.2-bin-all  
  
  
  
  
  
  
cd /home/haoren/soft/zeppelin-0.6.2-bin-all/  
  
  
\-rw-r--r--  1 haoren haoren 1791620 10月 12 08:52 zeppelin-web-0.6.2.war  
\-rw-r--r--  1 haoren haoren  100895 10月 12 08:52 zeppelin-server-0.6.2.jar  
\-rw-r--r--  1 haoren haoren    8921 10月 12 08:52 README.md  
\-rw-r--r--  1 haoren haoren    5620 10月 12 08:54 NOTICE  
\-rw-r--r--  1 haoren haoren   40276 10月 12 08:54 LICENSE  
drwxr-xr-x  2 haoren haoren    4096 10月 20 08:49 licenses  
drwxr-xr-x 20 haoren haoren    4096 10月 20 08:49 interpreter  
drwxr-xr-x  3 haoren haoren    4096 11月 29 03:51 spark-warehouse  
drwxr-xr-x  2 haoren haoren   12288 12月  7 14:12 lib  
drwxr-xr-x 19 haoren haoren    4096 2月  13 08:23 notebook  
drwxr-xr-x  3 haoren haoren    4096 2月  14 03:13 bin  
drwxr-xr-x  2 haoren haoren    4096 2月  14 03:15 conf  
drwxrwxr-x  5 haoren haoren    4096 2月  22 06:23 metastore\_db  
\-rw-rw-r--  1 haoren haoren   20892 2月  22 06:23 derby.log  
drwxrwxr-x  3 haoren haoren    4096 3月  14 04:36 webapps  
drwxrwxr-x  2 haoren haoren    4096 3月  14 04:37 run  
drwxrwxr-x  2 haoren haoren   28672 3月  23 03:47 logs   
  
  
  
  
\[haoren@IM-SJ01-Server18 zeppelin-0.6.2-bin-all\]$ cd interpreter/  
\[haoren@IM-SJ01-Server18 interpreter\]$ ll  
总用量 72  
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 alluxio  
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 angular  
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 bqsql  
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 cassandra  
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 elasticsearch  
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 file  
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 flink  
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 hbase  
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 ignite  
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 jdbc  
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 kylin  
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 lens  
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 livy  
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 md  
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 psql  
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 python  
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 sh  
drwxr-xr-x 5 haoren haoren 4096 10月 12 08:52 spark  
  
  
  
  
\[haoren@IM-SJ01-Server18 interpreter\]$ cd spark/  
\[haoren@IM-SJ01-Server18 spark\]$   
\[haoren@IM-SJ01-Server18 spark\]$   
\[haoren@IM-SJ01-Server18 spark\]$ ll -rt  
总用量 8824  
\-rw-r--r-- 1 haoren haoren 9023355 10月 12 08:52 zeppelin-spark\_2.11-0.6.2.jar  
drwxr-xr-x 3 haoren haoren    4096 10月 20 08:49 R  
drwxr-xr-x 2 haoren haoren    4096 10月 20 08:49 pyspark  
drwxr-xr-x 2 haoren haoren    4096 10月 20 08:49 dep  
  
  
  
  
\[haoren@IM-SJ01-Server18 zeppelin-0.6.2-bin-all\]$ cd lib/  
\[haoren@IM-SJ01-Server18 lib\]$ pwd  
/home/haoren/soft/zeppelin-0.6.2-bin-all/lib  
\[haoren@IM-SJ01-Server18 lib\]$   
\[haoren@IM-SJ01-Server18 lib\]$ ll -rt  
总用量 74956  
\-rw-r--r-- 1 haoren haoren   181421 10月 12 08:52 zeppelin-zengine-0.6.2.jar  
\-rw-r--r-- 1 haoren haoren  6598422 10月 12 08:52 zeppelin-interpreter-0.6.2.jar  
\-rw-r--r-- 1 haoren haoren    94672 10月 12 08:52 xz-1.0.jar  
\-rw-r--r-- 1 haoren haoren   162818 10月 12 08:52 xmlschema-core-2.0.3.jar  
\-rw-r--r-- 1 haoren haoren    15010 10月 12 08:52 xmlenc-0.52.jar  
\-rw-r--r-- 1 haoren haoren   220536 10月 12 08:52 xml-apis-1.4.01.jar  
\-rw-r--r-- 1 haoren haoren   186758 10月 12 08:52 wsdl4j-1.6.3.jar  
\-rw-r--r-- 1 haoren haoren   482245 10月 12 08:52 woodstox-core-asl-4.2.0.jar  
\-rw-r--r-- 1 haoren haoren    18300 10月 12 08:52 websocket-servlet-9.2.15.v20160210.jar  
\-rw-r--r-- 1 haoren haoren    37716 10月 12 08:52 websocket-server-9.2.15.v20160210.jar  
\-rw-r--r-- 1 haoren haoren   180260 10月 12 08:52 websocket-common-9.2.15.v20160210.jar  
\-rw-r--r-- 1 haoren haoren    36258 10月 12 08:52 websocket-client-9.2.15.v20160210.jar  
\-rw-r--r-- 1 haoren haoren    44049 10月 12 08:52 websocket-api-9.2.15.v20160210.jar  
\-rw-r--r-- 1 haoren haoren   182112 10月 12 08:52 stax2-api-3.1.1.jar  
\-rw-r--r-- 1 haoren haoren     8866 10月 12 08:52 slf4j-log4j12-1.7.10.jar  
\-rw-r--r-- 1 haoren haoren    32119 10月 12 08:52 slf4j-api-1.7.10.jar  
\-rw-r--r-- 1 haoren haoren    25429 10月 12 08:52 regexp-1.3.jar  
\-rw-r--r-- 1 haoren haoren   102696 10月 12 08:52 reflections-0.9.8.jar  
\-rw-r--r-- 1 haoren haoren   660316 10月 12 08:52 quartz-2.2.1.jar  
\-rw-r--r-- 1 haoren haoren   533455 10月 12 08:52 protobuf-java-2.5.0.jar  
\-rw-r--r-- 1 haoren haoren   250546 10月 12 08:52 plexus-utils-1.5.6.jar  
\-rw-r--r-- 1 haoren haoren  2162975 10月 12 08:52 org.eclipse.jgit-4.1.1.201511131810-r.jar  
\-rw-r--r-- 1 haoren haoren     4399 10月 12 08:52 org.eclipse.jdt.annotation-1.1.0.jar  
\-rw-r--r-- 1 haoren haoren    69858 10月 12 08:52 maven-scm-provider-svnexe-1.4.jar  
\-rw-r--r-- 1 haoren haoren    40066 10月 12 08:52 maven-scm-provider-svn-commons-1.4.jar  
\-rw-r--r-- 1 haoren haoren    94421 10月 12 08:52 maven-scm-api-1.4.jar  
\-rw-r--r-- 1 haoren haoren   266751 10月 12 08:52 lucene-sandbox-5.3.1.jar  
\-rw-r--r-- 1 haoren haoren   401310 10月 12 08:52 lucene-queryparser-5.3.1.jar  
\-rw-r--r-- 1 haoren haoren   212088 10月 12 08:52 lucene-queries-5.3.1.jar  
\-rw-r--r-- 1 haoren haoren    33291 10月 12 08:52 lucene-memory-5.3.1.jar  
\-rw-r--r-- 1 haoren haoren   119046 10月 12 08:52 lucene-join-5.3.1.jar  
\-rw-r--r-- 1 haoren haoren   144470 10月 12 08:52 lucene-highlighter-5.3.1.jar  
\-rw-r--r-- 1 haoren haoren  2356393 10月 12 08:52 lucene-core-5.3.1.jar  
\-rw-r--r-- 1 haoren haoren  1562970 10月 12 08:52 lucene-analyzers-common-5.3.1.jar  
\-rw-r--r-- 1 haoren haoren   489884 10月 12 08:52 log4j-1.2.17.jar  
\-rw-r--r-- 1 haoren haoren    33015 10月 12 08:52 jsr305-1.3.9.jar  
\-rw-r--r-- 1 haoren haoren   100636 10月 12 08:52 jsp-api-2.1.jar  
\-rw-r--r-- 1 haoren haoren   280205 10月 12 08:52 jsch-0.1.53.jar  
\-rw-r--r-- 1 haoren haoren   621931 10月 12 08:52 joda-time-2.8.1.jar  
\-rw-r--r-- 1 haoren haoren    44133 10月 12 08:52 jetty-xml-9.2.15.v20160210.jar  
\-rw-r--r-- 1 haoren haoren   107861 10月 12 08:52 jetty-webapp-9.2.15.v20160210.jar  
\-rw-r--r-- 1 haoren haoren   368398 10月 12 08:52 jetty-util-9.2.15.v20160210.jar  
\-rw-r--r-- 1 haoren haoren   177131 10月 12 08:52 jetty-util-6.1.26.jar  
\-rw-r--r-- 1 haoren haoren   115718 10月 12 08:52 jetty-servlet-9.2.15.v20160210.jar  
\-rw-r--r-- 1 haoren haoren   419101 10月 12 08:52 jetty-server-9.2.15.v20160210.jar  
\-rw-r--r-- 1 haoren haoren    95897 10月 12 08:52 jetty-security-9.2.15.v20160210.jar  
\-rw-r--r-- 1 haoren haoren   108321 10月 12 08:52 jetty-io-9.2.15.v20160210.jar  
\-rw-r--r-- 1 haoren haoren   126765 10月 12 08:52 jetty-http-9.2.15.v20160210.jar  
\-rw-r--r-- 1 haoren haoren   234216 10月 12 08:52 jetty-client-9.2.15.v20160210.jar  
\-rw-r--r-- 1 haoren haoren   539912 10月 12 08:52 jetty-6.1.26.jar  
\-rw-r--r-- 1 haoren haoren   539735 10月 12 08:52 jets3t-0.9.0.jar  
\-rw-r--r-- 1 haoren haoren   125580 10月 12 08:52 jersey-servlet-1.13.jar  
\-rw-r--r-- 1 haoren haoren   600112 10月 12 08:52 jersey-server-1.13.jar  
\-rw-r--r-- 1 haoren haoren   465649 10月 12 08:52 jersey-core-1.13.jar  
\-rw-r--r-- 1 haoren haoren  1112659 10月 12 08:52 jaxb-impl-2.2.6.jar  
\-rw-r--r-- 1 haoren haoren    95806 10月 12 08:52 javax.servlet-api-3.1.0.jar  
\-rw-r--r-- 1 haoren haoren    18490 10月 12 08:52 java-xmlbuilder-0.4.jar  
\-rw-r--r-- 1 haoren haoren   644148 10月 12 08:52 javassist-3.12.1.GA.jar  
\-rw-r--r-- 1 haoren haoren   125146 10月 12 08:52 JavaEWAH-0.7.9.jar  
\-rw-r--r-- 1 haoren haoren    76844 10月 12 08:52 jasper-runtime-5.5.23.jar  
\-rw-r--r-- 1 haoren haoren   408133 10月 12 08:52 jasper-compiler-5.5.23.jar  
\-rw-r--r-- 1 haoren haoren   780664 10月 12 08:52 jackson-mapper-asl-1.9.13.jar  
\-rw-r--r-- 1 haoren haoren   232248 10月 12 08:52 jackson-core-asl-1.9.13.jar  
\-rw-r--r-- 1 haoren haoren   303094 10月 12 08:52 jackrabbit-webdav-1.5.2.jar  
\-rw-r--r-- 1 haoren haoren   202835 10月 12 08:52 jackrabbit-jcr-commons-1.5.2.jar  
\-rw-r--r-- 1 haoren haoren   282793 10月 12 08:52 httpcore-4.3.3.jar  
\-rw-r--r-- 1 haoren haoren   592008 10月 12 08:52 httpclient-4.3.6.jar  
\-rw-r--r-- 1 haoren haoren    31212 10月 12 08:52 htrace-core-3.0.4.jar  
\-rw-r--r-- 1 haoren haoren  2172168 10月 12 08:52 guava-15.0.jar  
\-rw-r--r-- 1 haoren haoren   189612 10月 12 08:52 gson-2.2.jar  
\-rw-r--r-- 1 haoren haoren    96323 10月 12 08:52 geronimo-servlet\_3.0\_spec-1.0.jar  
\-rw-r--r-- 1 haoren haoren   223298 10月 12 08:52 geronimo-javamail\_1.4\_spec-1.7.1.jar  
\-rw-r--r-- 1 haoren haoren   313898 10月 12 08:52 dom4j-1.6.1.jar  
\-rw-r--r-- 1 haoren haoren    96631 10月 12 08:52 cxf-rt-transports-http-jetty-2.7.7.jar  
\-rw-r--r-- 1 haoren haoren   255839 10月 12 08:52 cxf-rt-transports-http-2.7.7.jar  
\-rw-r--r-- 1 haoren haoren   636458 10月 12 08:52 cxf-rt-frontend-jaxrs-2.7.7.jar  
\-rw-r--r-- 1 haoren haoren   407248 10月 12 08:52 cxf-rt-core-2.7.7.jar  
\-rw-r--r-- 1 haoren haoren    38694 10月 12 08:52 cxf-rt-bindings-xml-2.7.7.jar  
\-rw-r--r-- 1 haoren haoren  1089367 10月 12 08:52 cxf-api-2.7.7.jar  
\-rw-r--r-- 1 haoren haoren   248171 10月 12 08:52 curator-recipes-2.6.0.jar  
\-rw-r--r-- 1 haoren haoren   185245 10月 12 08:52 curator-framework-2.6.0.jar  
\-rw-r--r-- 1 haoren haoren    68866 10月 12 08:52 curator-client-2.6.0.jar  
\-rw-r--r-- 1 haoren haoren   415578 10月 12 08:52 commons-vfs2-2.0.jar  
\-rw-r--r-- 1 haoren haoren   273370 10月 12 08:52 commons-net-3.1.jar  
\-rw-r--r-- 1 haoren haoren  1599627 10月 12 08:52 commons-math3-3.1.1.jar  
\-rw-r--r-- 1 haoren haoren    60686 10月 12 08:52 commons-logging-1.1.1.jar  
\-rw-r--r-- 1 haoren haoren   279193 10月 12 08:52 commons-lang-2.5.jar  
\-rw-r--r-- 1 haoren haoren   185140 10月 12 08:52 commons-io-2.4.jar  
\-rw-r--r-- 1 haoren haoren   279383 10月 12 08:52 commons-httpclient-3.0.jar  
\-rw-r--r-- 1 haoren haoren   112341 10月 12 08:52 commons-el-1.0.jar  
\-rw-r--r-- 1 haoren haoren   358048 10月 12 08:52 commons-configuration-1.9.jar  
\-rw-r--r-- 1 haoren haoren   241367 10月 12 08:52 commons-compress-1.4.1.jar  
\-rw-r--r-- 1 haoren haoren   575389 10月 12 08:52 commons-collections-3.2.1.jar  
\-rw-r--r-- 1 haoren haoren    73098 10月 12 08:52 commons-codec-1.5.jar  
\-rw-r--r-- 1 haoren haoren    41123 10月 12 08:52 commons-cli-1.2.jar  
\-rw-r--r-- 1 haoren haoren   608376 10月 12 08:52 c3p0-0.9.1.1.jar  
\-rw-r--r-- 1 haoren haoren   697311 10月 12 08:52 azure-storage-4.0.0.jar  
\-rw-r--r-- 1 haoren haoren   614130 10月 12 08:52 aws-java-sdk-s3-1.10.62.jar  
\-rw-r--r-- 1 haoren haoren   345506 10月 12 08:52 aws-java-sdk-kms-1.10.62.jar  
\-rw-r--r-- 1 haoren haoren   592622 10月 12 08:52 aws-java-sdk-core-1.10.62.jar  
\-rw-r--r-- 1 haoren haoren    43033 10月 12 08:52 asm-3.1.jar  
\-rw-r--r-- 1 haoren haoren    79912 10月 12 08:52 api-util-1.0.0-M20.jar  
\-rw-r--r-- 1 haoren haoren    16560 10月 12 08:52 api-asn1-api-1.0.0-M20.jar  
\-rw-r--r-- 1 haoren haoren   691479 10月 12 08:52 apacheds-kerberos-codec-2.0.0-M15.jar  
\-rw-r--r-- 1 haoren haoren    44925 10月 12 08:52 apacheds-i18n-2.0.0-M15.jar  
\-rw-r--r-- 1 haoren haoren   142474 10月 12 08:52 shiro-web-1.2.3.jar  
\-rw-r--r-- 1 haoren haoren   367458 10月 12 08:52 shiro-core-1.2.3.jar  
\-rw-r--r-- 1 haoren haoren   648678 10月 12 08:52 scala-xml\_2.11-1.0.2.jar  
\-rw-r--r-- 1 haoren haoren  4576443 10月 12 08:52 scala-reflect-2.11.7.jar  
\-rw-r--r-- 1 haoren haoren   423753 10月 12 08:52 scala-parser-combinators\_2.11-1.0.4.jar  
\-rw-r--r-- 1 haoren haoren  5745606 10月 12 08:52 scala-library-2.11.7.jar  
\-rw-r--r-- 1 haoren haoren 15244851 10月 12 08:52 scala-compiler-2.11.7.jar  
\-rw-r--r-- 1 haoren haoren   110928 10月 12 08:52 javax.ws.rs-api-2.0-m10.jar  
\-rw-r--r-- 1 haoren haoren   232019 10月 12 08:52 commons-beanutils-1.8.3.jar  
\-rw-rw-r-- 1 haoren haoren   990924 10月 20 08:56 mysql-connector-java-5.1.40.jar  
\-rw-r--r-- 1 haoren haoren  1171380 10月 20 09:13 jackson-databind-2.6.5.jar  
\-rw-r--r-- 1 haoren haoren   258876 10月 20 09:13 jackson-core-2.6.5.jar  
\-rw-r--r-- 1 haoren haoren    46983 10月 20 09:13 jackson-annotations-2.6.5.jar  
\-rw-r--r-- 1 haoren haoren    40863 10月 20 09:24 hadoop-annotations-2.7.3.jar  
\-rw-r--r-- 1 haoren haoren    94150 10月 20 09:24 hadoop-auth-2.7.3.jar  
\-rw-r--r-- 1 haoren haoren  3479293 10月 20 09:24 hadoop-common-2.7.3.jar  
\-rw-r--r-- 1 haoren haoren   660209 12月  7 14:10 elasticsearch-spark-20\_2.11-5.0.2.jar  
  
  
  
  
  
  
cd /home/haoren/soft/zeppelin-0.6.2-bin-all/conf  
  
  
\[haoren@IM-SJ01-Server18 conf\]$ ll -rt  
总用量 96  
\-rwxr-xr-x 1 haoren haoren 10340 10月 12 08:52 zeppelin-site.xml.template  
\-rw-r--r-- 1 haoren haoren  5290 10月 12 08:52 zeppelin-env.sh.template  
\-rw-r--r-- 1 haoren haoren  4731 10月 12 08:52 zeppelin-env.cmd.template  
\-rw-r--r-- 1 haoren haoren  1651 10月 12 08:52 README.md  
\-rw-r--r-- 1 haoren haoren  1382 10月 12 08:52 log4j.properties  
\-rw-r--r-- 1 haoren haoren  2463 10月 12 08:52 interpreter-list  
\-rw-r--r-- 1 haoren haoren  1326 10月 12 08:52 configuration.xsl  
\-rwxr-xr-x 1 haoren haoren 10341 10月 20 08:50 zeppelin-site.xml  
\-rw-r--r-- 1 haoren haoren  3612 12月 23 12:51 shiro.ini  
\-rw-rw-r-- 1 haoren haoren 23075 2月  10 02:53 interpreter.json  
\-rw-rw-r-- 1 haoren haoren  1337 2月  13 08:23 notebook-authorization.json  
\-rw-r--r-- 1 haoren haoren  5516 2月  14 03:15 zeppelin-env.sh  
  
  
\[haoren@IM-SJ01-Server18 conf\]$ grep -v "\#" zeppelin-env.sh  
  
  
export ZEPPELIN\_JAVA\_OPTS="-Dspark.executor.memory=16g -Dspark.cores.max=24"  
  
  
  
  
export  SPARK\_MASTER\_IP=127.0.0.1  
export  SPARK\_LOCAL\_IP=127.0.0.1  
export ZEPPELIN\_MEM="-Xms1024m -Xmx16384m -XX:MaxPermSize=16384m"    
  
  
\[haoren@IM-SJ01-Server18 conf\]$ grep -v "\#" shiro.ini  
  
  
\[users\]  
admin = haoren@123.com\_z  
user1 = password2, role1, role2  
user2 = password3, role3  
user3 = password4, role2  
  
z = z@haoren123, role1  
y = yn@haoren124  
l = l@haoren333  
  
  
\[main\]  
  
  
sessionManager = org.apache.shiro.web.session.mgt.DefaultWebSessionManager  
  
  
securityManager.sessionManager = $sessionManager  
securityManager.sessionManager.globalSessionTimeout = 86400000  
shiro.loginUrl = /api/login  
  
  
\[roles\]  
role1 = \*  
role2 = \*  
role3 = \*  
  
  
\[urls\]  
/api/version = anon  
/\*\* = authc   
  
  
  
\[haoren@IM-SJ01-Server18 conf\]$  cat zeppelin-site.xml  
<?xml version="1.0"?>  
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
  
  
  
<configuration>  
  
  
<property>  
  <name>zeppelin.server.addr</name>  
  <value>0.0.0.0</value>  
  <description>Server address</description>  
</property>  
  
  
<property>  
  <name>zeppelin.server.port</name>  
   <value>18081</value>  
  <description>Server port.</description>  
</property>  
  
  
<property>  
  <name>zeppelin.server.context.path</name>  
  <value>/</value>  
  <description>Context Path of the Web Application</description>  
</property>  
  
  
<property>  
  <name>zeppelin.war.tempdir</name>  
  <value>webapps</value>  
  <description>Location of jetty temporary directory</description>  
</property>  
  
  
<property>  
  <name>zeppelin.notebook.dir</name>  
  <value>notebook</value>  
  <description>path or URI for notebook persist</description>  
</property>  
  
  
<property>  
  <name>zeppelin.notebook.homescreen</name>  
  <value></value>  
  <description>id of notebook to be displayed in homescreen. ex) 2A94M5J1Z Empty value displays default home screen</description>  
</property>  
  
  
<property>  
  <name>zeppelin.notebook.homescreen.hide</name>  
  <value>false</value>  
  <description>hide homescreen notebook from list when this value set to true</description>  
</property>  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
<property>  
  <name>zeppelin.notebook.storage</name>  
  <value>org.apache.zeppelin.notebook.repo.VFSNotebookRepo</value>  
  <description>notebook persistence layer implementation</description>  
</property>  
  
  
<property>  
  <name>zeppelin.interpreter.dir</name>  
  <value>interpreter</value>  
  <description>Interpreter implementation base directory</description>  
</property>  
  
  
<property>  
  <name>zeppelin.interpreter.localRepo</name>  
  <value>local-repo</value>  
  <description>Local repository for interpreter's additional dependency loading</description>  
</property>  
  
  
<property>  
  <name>zeppelin.interpreters</name>  
  <value>org.apache.zeppelin.spark.SparkInterpreter,org.apache.zeppelin.spark.PySparkInterpreter,org.apache.zeppelin.rinterpreter.RRepl,org.apache.zeppelin.rinterpreter.KnitR,org.apache.zeppelin.spark.SparkRInterpreter,org.apache.zeppelin.spark.SparkSqlInterpreter,org.apache.zeppelin.spark.DepInterpreter,org.apache.zeppelin.markdown.Markdown,org.apache.zeppelin.angular.AngularInterpreter,org.apache.zeppelin.shell.ShellInterpreter,org.apache.zeppelin.file.HDFSFileInterpreter,org.apache.zeppelin.flink.FlinkInterpreter,,org.apache.zeppelin.python.PythonInterpreter,org.apache.zeppelin.lens.LensInterpreter,org.apache.zeppelin.ignite.IgniteInterpreter,org.apache.zeppelin.ignite.IgniteSqlInterpreter,org.apache.zeppelin.cassandra.CassandraInterpreter,org.apache.zeppelin.geode.GeodeOqlInterpreter,org.apache.zeppelin.postgresql.PostgreSqlInterpreter,org.apache.zeppelin.jdbc.JDBCInterpreter,org.apache.zeppelin.kylin.KylinInterpreter,org.apache.zeppelin.elasticsearch.ElasticsearchInterpreter,org.apache.zeppelin.scalding.ScaldingInterpreter,org.apache.zeppelin.alluxio.AlluxioInterpreter,org.apache.zeppelin.hbase.HbaseInterpreter,org.apache.zeppelin.livy.LivySparkInterpreter,org.apache.zeppelin.livy.LivyPySparkInterpreter,org.apache.zeppelin.livy.LivySparkRInterpreter,org.apache.zeppelin.livy.LivySparkSQLInterpreter,org.apache.zeppelin.bigquery.BigQueryInterpreter</value>  
  <description>Comma separated interpreter configurations. First interpreter become a default</description>  
</property>  
  
  
<property>  
  <name>zeppelin.interpreter.group.order</name>  
  <value>spark,md,angular,sh,livy,alluxio,file,psql,flink,python,ignite,lens,cassandra,geode,kylin,elasticsearch,scalding,jdbc,hbase,bigquery</value>  
  <description></description>  
</property>  
  
  
<property>  
  <name>zeppelin.interpreter.connect.timeout</name>  
  <value>30000</value>  
  <description>Interpreter process connect timeout in msec.</description>  
</property>  
  
  
  
  
<property>  
  <name>zeppelin.ssl</name>  
  <value>false</value>  
  <description>Should SSL be used by the servers?</description>  
</property>  
  
  
<property>  
  <name>zeppelin.ssl.client.auth</name>  
  <value>false</value>  
  <description>Should client authentication be used for SSL connections?</description>  
</property>  
  
  
<property>  
  <name>zeppelin.ssl.keystore.path</name>  
  <value>keystore</value>  
  <description>Path to keystore relative to Zeppelin configuration directory</description>  
</property>  
  
  
<property>  
  <name>zeppelin.ssl.keystore.type</name>  
  <value>JKS</value>  
  <description>The format of the given keystore (e.g. JKS or PKCS12)</description>  
</property>  
  
  
<property>  
  <name>zeppelin.ssl.keystore.password</name>  
  <value>change me</value>  
  <description>Keystore password. Can be obfuscated by the Jetty Password tool</description>  
</property>  
  
  
  
  
  
<property>  
  <name>zeppelin.ssl.truststore.path</name>  
  <value>truststore</value>  
  <description>Path to truststore relative to Zeppelin configuration directory. Defaults to the keystore path</description>  
</property>  
  
  
<property>  
  <name>zeppelin.ssl.truststore.type</name>  
  <value>JKS</value>  
  <description>The format of the given truststore (e.g. JKS or PKCS12). Defaults to the same type as the keystore type</description>  
</property>  
  
  
  
  
  
<property>  
  <name>zeppelin.server.allowed.origins</name>  
  <value>\*</value>  
  <description>Allowed sources for REST and WebSocket requests (i.e. http://onehost:8080,http://otherhost.com). If you leave \* you are vulnerable to https://issues.apache.org/jira/browse/ZEPPELIN-173</description>  
</property>  
  
  
<property>  
  <name>zeppelin.anonymous.allowed</name>  
  <value>true</value>  
  <description>Anonymous user allowed by default</description>  
</property>  
  
  
<property>  
  <name>zeppelin.websocket.max.text.message.size</name>  
  <value>1024000</value>  
  <description>Size in characters of the maximum text message to be received by websocket. Defaults to 1024000</description>  
</property>  
  
  
</configuration>   
  
  
  
  
cd /home/haoren/soft/spark-2.0.1-bin-hadoop2.7  
  
  
\[haoren@IM-SJ01-Server18 spark-2.0.1-bin-hadoop2.7\]$ ll -rt  
总用量 120  
drwxr-xr-x 2 haoren haoren  4096 9月  29 00:03 yarn  
\-rw-r--r-- 1 haoren haoren   120 9月  29 00:03 RELEASE  
drwxr-xr-x 3 haoren haoren  4096 9月  29 00:03 R  
drwxr-xr-x 6 haoren haoren  4096 9月  29 00:03 python  
\-rw-r--r-- 1 haoren haoren 24749 9月  29 00:03 NOTICE  
drwxr-xr-x 2 haoren haoren  4096 9月  29 00:03 licenses  
\-rw-r--r-- 1 haoren haoren 17811 9月  29 00:03 LICENSE  
drwxr-xr-x 4 haoren haoren  4096 9月  29 00:03 examples  
drwxr-xr-x 5 haoren haoren  4096 9月  29 00:03 data  
drwxr-xr-x 2 haoren haoren  4096 9月  29 00:03 bin  
\-rw-r--r-- 1 haoren haoren  3828 9月  29 00:03 README.md  
drwxrwxr-x 2 haoren haoren  4096 10月 19 06:14 work  
\-rw-rw-r-- 1 haoren haoren  5014 10月 21 03:40 derby.log  
drwxrwxr-x 2 haoren haoren  4096 10月 21 03:50 logs  
drwxr-xr-x 2 haoren haoren  4096 10月 21 08:59 sbin  
drwxr-xr-x 2 haoren haoren 12288 12月  7 13:40 jars  
drwxr-xr-x 2 haoren haoren  4096 2月   9 10:00 conf   
  
  
  
  
\[haoren@IM-SJ01-Server18 spark-2.0.1-bin-hadoop2.7\]$ cd conf/  
\[haoren@IM-SJ01-Server18 conf\]$ pwd  
/home/haoren/soft/spark-2.0.1-bin-hadoop2.7/conf  
\[haoren@IM-SJ01-Server18 conf\]$ ll -rt  
总用量 40  
\-rwxr-xr-x 1 haoren haoren 3861 9月  29 00:03 spark-env.sh.template  
\-rw-r--r-- 1 haoren haoren 1292 9月  29 00:03 spark-defaults.conf.template  
\-rw-r--r-- 1 haoren haoren  865 9月  29 00:03 slaves.template  
\-rw-r--r-- 1 haoren haoren 7239 9月  29 00:03 metrics.properties.template  
\-rw-r--r-- 1 haoren haoren 2025 9月  29 00:03 log4j.properties.template  
\-rw-r--r-- 1 haoren haoren 1105 9月  29 00:03 fairscheduler.xml.template  
\-rw-r--r-- 1 haoren haoren  987 9月  29 00:03 docker.properties.template  
\-rwxr-xr-x 1 haoren haoren 4143 10月 20 08:48 spark-env.sh  
  
  
\[haoren@IM-SJ01-Server18 conf\]$ pwd

/home/haoren/soft/spark-2.0.1-bin-hadoop2.7/conf

\[haoren@IM-SJ01-Server18 conf\]$

\[haoren@IM-SJ01-Server18 conf\]$ grep -v "\#" spark-env.sh  
  
  
export SPARK\_DIST\_CLASSPATH=$(/home/haoren/soft/hadoop/bin/hadoop classpath)  
  
  
\[haoren@IM-SJ01-Server18 jars\]$ pwd

/home/haoren/soft/spark-2.0.1-bin-hadoop2.7/jars

\[haoren@IM-SJ01-Server18 jars\]$

\[haoren@IM-SJ01-Server18 jars\]$ ll -rt

总用量 189340  
\-rw-r--r-- 1 haoren haoren   792964 9月  29 00:03 zookeeper-3.4.6.jar  
\-rw-r--r-- 1 haoren haoren    94672 9月  29 00:03 xz-1.0.jar  
\-rw-r--r-- 1 haoren haoren    15010 9月  29 00:03 xmlenc-0.52.jar  
\-rw-r--r-- 1 haoren haoren  1229125 9月  29 00:03 xercesImpl-2.9.1.jar  
\-rw-r--r-- 1 haoren haoren   144660 9月  29 00:03 xbean-asm5-shaded-4.4.jar  
\-rw-r--r-- 1 haoren haoren    63777 9月  29 00:03 validation-api-1.1.0.Final.jar  
\-rw-r--r-- 1 haoren haoren   290506 9月  29 00:03 univocity-parsers-2.1.1.jar  
\-rw-r--r-- 1 haoren haoren    93210 9月  29 00:03 super-csv-2.2.0.jar  
\-rw-r--r-- 1 haoren haoren   148627 9月  29 00:03 stringtemplate-3.2.1.jar  
\-rw-r--r-- 1 haoren haoren   174351 9月  29 00:03 stream-2.7.0.jar  
\-rw-r--r-- 1 haoren haoren    23346 9月  29 00:03 stax-api-1.0-2.jar  
\-rw-r--r-- 1 haoren haoren    26514 9月  29 00:03 stax-api-1.0.1.jar  
\-rw-r--r-- 1 haoren haoren   236660 9月  29 00:03 ST4-4.0.4.jar  
\-rw-r--r-- 1 haoren haoren    86811 9月  29 00:03 spire-macros\_2.11-0.7.4.jar  
\-rw-r--r-- 1 haoren haoren  7276083 9月  29 00:03 spire\_2.11-0.7.4.jar  
\-rw-r--r-- 1 haoren haoren   669591 9月  29 00:03 spark-yarn\_2.11-2.0.1.jar  
\-rw-r--r-- 1 haoren haoren    41072 9月  29 00:03 spark-unsafe\_2.11-2.0.1.jar  
\-rw-r--r-- 1 haoren haoren    15304 9月  29 00:03 spark-tags\_2.11-2.0.1.jar  
\-rw-r--r-- 1 haoren haoren  2090371 9月  29 00:03 spark-streaming\_2.11-2.0.1.jar  
\-rw-r--r-- 1 haoren haoren  6290315 9月  29 00:03 spark-sql\_2.11-2.0.1.jar  
\-rw-r--r-- 1 haoren haoren    29541 9月  29 00:03 spark-sketch\_2.11-2.0.1.jar  
\-rw-r--r-- 1 haoren haoren    63318 9月  29 00:03 spark-repl\_2.11-2.0.1.jar  
\-rw-r--r-- 1 haoren haoren    55513 9月  29 00:03 spark-network-shuffle\_2.11-2.0.1.jar  
\-rw-r--r-- 1 haoren haoren  2355467 9月  29 00:03 spark-network-common\_2.11-2.0.1.jar  
\-rw-r--r-- 1 haoren haoren   177833 9月  29 00:03 spark-mllib-local\_2.11-2.0.1.jar  
\-rw-r--r-- 1 haoren haoren  5847592 9月  29 00:03 spark-mllib\_2.11-2.0.1.jar  
\-rw-r--r-- 1 haoren haoren    65654 9月  29 00:03 spark-launcher\_2.11-2.0.1.jar  
\-rw-r--r-- 1 haoren haoren  1814300 9月  29 00:03 spark-hive-thriftserver\_2.11-2.0.1.jar  
\-rw-r--r-- 1 haoren haoren  1044501 9月  29 00:03 spark-hive\_2.11-2.0.1.jar  
\-rw-r--r-- 1 haoren haoren   680108 9月  29 00:03 spark-graphx\_2.11-2.0.1.jar  
\-rw-r--r-- 1 haoren haoren 11723542 9月  29 00:03 spark-core\_2.11-2.0.1.jar  
\-rw-r--r-- 1 haoren haoren  6873895 9月  29 00:03 spark-catalyst\_2.11-2.0.1.jar  
\-rw-r--r-- 1 haoren haoren  1056168 9月  29 00:03 snappy-java-1.1.2.6.jar  
\-rw-r--r-- 1 haoren haoren    48720 9月  29 00:03 snappy-0.2.jar  
\-rw-r--r-- 1 haoren haoren     9939 9月  29 00:03 slf4j-log4j12-1.7.16.jar  
\-rw-r--r-- 1 haoren haoren    40509 9月  29 00:03 slf4j-api-1.7.16.jar  
\-rw-r--r-- 1 haoren haoren   648678 9月  29 00:03 scala-xml\_2.11-1.0.2.jar  
\-rw-r--r-- 1 haoren haoren  4573750 9月  29 00:03 scala-reflect-2.11.8.jar  
\-rw-r--r-- 1 haoren haoren   423753 9月  29 00:03 scala-parser-combinators\_2.11-1.0.4.jar  
\-rw-r--r-- 1 haoren haoren   802818 9月  29 00:03 scalap-2.11.8.jar  
\-rw-r--r-- 1 haoren haoren  5744974 9月  29 00:03 scala-library-2.11.8.jar  
\-rw-r--r-- 1 haoren haoren 15487351 9月  29 00:03 scala-compiler-2.11.8.jar  
\-rw-r--r-- 1 haoren haoren   201928 9月  29 00:03 RoaringBitmap-0.5.11.jar  
\-rw-r--r-- 1 haoren haoren    93407 9月  29 00:03 pyrolite-4.9.jar  
\-rw-r--r-- 1 haoren haoren   114913 9月  29 00:03 py4j-0.10.3.jar  
\-rw-r--r-- 1 haoren haoren   533455 9月  29 00:03 protobuf-java-2.5.0.jar  
\-rw-r--r-- 1 haoren haoren     5310 9月  29 00:03 pmml-schema-1.2.15.jar  
\-rw-r--r-- 1 haoren haoren   654216 9月  29 00:03 pmml-model-1.2.15.jar  
\-rw-r--r-- 1 haoren haoren  1048110 9月  29 00:03 parquet-jackson-1.7.0.jar  
\-rw-r--r-- 1 haoren haoren  2796935 9月  29 00:03 parquet-hadoop-bundle-1.6.0.jar  
\-rw-r--r-- 1 haoren haoren   209622 9月  29 00:03 parquet-hadoop-1.7.0.jar  
\-rw-r--r-- 1 haoren haoren    21243 9月  29 00:03 parquet-generator-1.7.0.jar  
\-rw-r--r-- 1 haoren haoren   387188 9月  29 00:03 parquet-format-2.3.0-incubating.jar  
\-rw-r--r-- 1 haoren haoren   285447 9月  29 00:03 parquet-encoding-1.7.0.jar  
\-rw-r--r-- 1 haoren haoren    21575 9月  29 00:03 parquet-common-1.7.0.jar  
\-rw-r--r-- 1 haoren haoren   917052 9月  29 00:03 parquet-column-1.7.0.jar  
\-rw-r--r-- 1 haoren haoren    29555 9月  29 00:03 paranamer-2.3.jar  
\-rw-r--r-- 1 haoren haoren    20235 9月  29 00:03 osgi-resource-locator-1.0.1.jar  
\-rw-r--r-- 1 haoren haoren    65261 9月  29 00:03 oro-2.0.8.jar  
\-rw-r--r-- 1 haoren haoren    19827 9月  29 00:03 opencsv-2.3.jar  
\-rw-r--r-- 1 haoren haoren    41755 9月  29 00:03 objenesis-2.1.jar  
\-rw-r--r-- 1 haoren haoren  2054931 9月  29 00:03 netty-all-4.0.29.Final.jar  
\-rw-r--r-- 1 haoren haoren  1230201 9月  29 00:03 netty-3.8.0.Final.jar  
\-rw-r--r-- 1 haoren haoren   409467 9月  29 00:03 mx4j-3.0.2.jar  
\-rw-r--r-- 1 haoren haoren     5711 9月  29 00:03 minlog-1.3.0.jar  
\-rw-r--r-- 1 haoren haoren    39280 9月  29 00:03 metrics-jvm-3.1.2.jar  
\-rw-r--r-- 1 haoren haoren    15827 9月  29 00:03 metrics-json-3.1.2.jar  
\-rw-r--r-- 1 haoren haoren    20852 9月  29 00:03 metrics-graphite-3.1.2.jar  
\-rw-r--r-- 1 haoren haoren   112558 9月  29 00:03 metrics-core-3.1.2.jar  
\-rw-r--r-- 1 haoren haoren  1277883 9月  29 00:03 mesos-0.21.1-shaded-protobuf.jar  
\-rw-r--r-- 1 haoren haoren   521157 9月  29 00:03 mail-1.4.7.jar  
\-rw-r--r-- 1 haoren haoren   236880 9月  29 00:03 lz4-1.3.0.jar  
\-rw-r--r-- 1 haoren haoren   489884 9月  29 00:03 log4j-1.2.17.jar  
\-rw-r--r-- 1 haoren haoren   227712 9月  29 00:03 libthrift-0.9.2.jar  
\-rw-r--r-- 1 haoren haoren   313686 9月  29 00:03 libfb303-0.9.2.jar  
\-rw-r--r-- 1 haoren haoren  1045744 9月  29 00:03 leveldbjni-all-1.8.jar  
\-rw-r--r-- 1 haoren haoren   358390 9月  29 00:03 kryo-shaded-3.0.3.jar  
\-rw-r--r-- 1 haoren haoren     4596 9月  29 00:03 jul-to-slf4j-1.7.16.jar  
\-rw-r--r-- 1 haoren haoren   764569 9月  29 00:03 jtransforms-2.4.0.jar  
\-rw-r--r-- 1 haoren haoren    15071 9月  29 00:03 jta-1.1.jar  
\-rw-r--r-- 1 haoren haoren    33015 9月  29 00:03 jsr305-1.3.9.jar  
\-rw-r--r-- 1 haoren haoren   100636 9月  29 00:03 jsp-api-2.1.jar  
\-rw-r--r-- 1 haoren haoren    40341 9月  29 00:03 json4s-jackson\_2.11-3.2.11.jar  
\-rw-r--r-- 1 haoren haoren   589462 9月  29 00:03 json4s-core\_2.11-3.2.11.jar  
\-rw-r--r-- 1 haoren haoren    82421 9月  29 00:03 json4s-ast\_2.11-3.2.11.jar  
\-rw-r--r-- 1 haoren haoren    45944 9月  29 00:03 json-20090211.jar  
\-rw-r--r-- 1 haoren haoren    12131 9月  29 00:03 jpam-1.1.jar  
\-rw-r--r-- 1 haoren haoren   427780 9月  29 00:03 jodd-core-3.5.2.jar  
\-rw-r--r-- 1 haoren haoren   627814 9月  29 00:03 joda-time-2.9.3.jar  
\-rw-r--r-- 1 haoren haoren   213911 9月  29 00:03 jline-2.12.1.jar  
\-rw-r--r-- 1 haoren haoren   177131 9月  29 00:03 jetty-util-6.1.26.jar  
\-rw-r--r-- 1 haoren haoren   539912 9月  29 00:03 jetty-6.1.26.jar  
\-rw-r--r-- 1 haoren haoren  2041628 9月  29 00:03 jets3t-0.9.3.jar  
\-rw-r--r-- 1 haoren haoren   951701 9月  29 00:03 jersey-server-2.22.2.jar  
\-rw-r--r-- 1 haoren haoren    72733 9月  29 00:03 jersey-media-jaxb-2.22.2.jar  
\-rw-r--r-- 1 haoren haoren   971310 9月  29 00:03 jersey-guava-2.22.2.jar  
\-rw-r--r-- 1 haoren haoren    66270 9月  29 00:03 jersey-container-servlet-core-2.22.2.jar  
\-rw-r--r-- 1 haoren haoren    18098 9月  29 00:03 jersey-container-servlet-2.22.2.jar  
\-rw-r--r-- 1 haoren haoren   698375 9月  29 00:03 jersey-common-2.22.2.jar  
\-rw-r--r-- 1 haoren haoren   167421 9月  29 00:03 jersey-client-2.22.2.jar  
\-rw-r--r-- 1 haoren haoren   201124 9月  29 00:03 jdo-api-3.0.1.jar  
\-rw-r--r-- 1 haoren haoren    16430 9月  29 00:03 jcl-over-slf4j-1.7.16.jar  
\-rw-r--r-- 1 haoren haoren   105134 9月  29 00:03 jaxb-api-2.2.2.jar  
\-rw-r--r-- 1 haoren haoren   395195 9月  29 00:03 javolution-5.5.1.jar  
\-rw-r--r-- 1 haoren haoren   115534 9月  29 00:03 javax.ws.rs-api-2.0.1.jar  
\-rw-r--r-- 1 haoren haoren    95806 9月  29 00:03 javax.servlet-api-3.1.0.jar  
\-rw-r--r-- 1 haoren haoren    10023 9月  29 00:03 java-xmlbuilder-1.0.jar  
\-rw-r--r-- 1 haoren haoren     5950 9月  29 00:03 javax.inject-2.4.0-b34.jar  
\-rw-r--r-- 1 haoren haoren     2497 9月  29 00:03 javax.inject-1.jar  
\-rw-r--r-- 1 haoren haoren    26366 9月  29 00:03 javax.annotation-api-1.2.jar  
\-rw-r--r-- 1 haoren haoren   714194 9月  29 00:03 javassist-3.18.1-GA.jar  
\-rw-r--r-- 1 haoren haoren    16993 9月  29 00:03 JavaEWAH-0.3.2.jar  
\-rw-r--r-- 1 haoren haoren   613299 9月  29 00:03 janino-2.7.8.jar  
\-rw-r--r-- 1 haoren haoren    27084 9月  29 00:03 jackson-xc-1.9.13.jar  
\-rw-r--r-- 1 haoren haoren   515604 9月  29 00:03 jackson-module-scala\_2.11-2.6.5.jar  
\-rw-r--r-- 1 haoren haoren    41263 9月  29 00:03 jackson-module-paranamer-2.6.5.jar  
\-rw-r--r-- 1 haoren haoren   780664 9月  29 00:03 jackson-mapper-asl-1.9.13.jar  
\-rw-r--r-- 1 haoren haoren    18336 9月  29 00:03 jackson-jaxrs-1.9.13.jar  
\-rw-r--r-- 1 haoren haoren  1171380 9月  29 00:03 jackson-databind-2.6.5.jar  
\-rw-r--r-- 1 haoren haoren   232248 9月  29 00:03 jackson-core-asl-1.9.13.jar  
\-rw-r--r-- 1 haoren haoren   258876 9月  29 00:03 jackson-core-2.6.5.jar  
\-rw-r--r-- 1 haoren haoren    46983 9月  29 00:03 jackson-annotations-2.6.5.jar  
\-rw-r--r-- 1 haoren haoren  1282424 9月  29 00:03 ivy-2.4.0.jar  
\-rw-r--r-- 1 haoren haoren   326724 9月  29 00:03 httpcore-4.4.4.jar  
\-rw-r--r-- 1 haoren haoren   736658 9月  29 00:03 httpclient-4.5.2.jar  
\-rw-r--r-- 1 haoren haoren  1475955 9月  29 00:03 htrace-core-3.1.0-incubating.jar  
\-rw-r--r-- 1 haoren haoren   118973 9月  29 00:03 hk2-utils-2.4.0-b34.jar  
\-rw-r--r-- 1 haoren haoren   181271 9月  29 00:03 hk2-locator-2.4.0-b34.jar  
\-rw-r--r-- 1 haoren haoren   178947 9月  29 00:03 hk2-api-2.4.0-b34.jar  
\-rw-r--r-- 1 haoren haoren  5505200 9月  29 00:03 hive-metastore-1.2.1.spark2.jar  
\-rw-r--r-- 1 haoren haoren   100680 9月  29 00:03 hive-jdbc-1.2.1.spark2.jar  
\-rw-r--r-- 1 haoren haoren 11498852 9月  29 00:03 hive-exec-1.2.1.spark2.jar  
\-rw-r--r-- 1 haoren haoren    40817 9月  29 00:03 hive-cli-1.2.1.spark2.jar  
\-rw-r--r-- 1 haoren haoren   138464 9月  29 00:03 hive-beeline-1.2.1.spark2.jar  
\-rw-r--r-- 1 haoren haoren    58407 9月  29 00:03 hadoop-yarn-server-web-proxy-2.7.3.jar  
\-rw-r--r-- 1 haoren haoren   388235 9月  29 00:03 hadoop-yarn-server-common-2.7.3.jar  
\-rw-r--r-- 1 haoren haoren  1678642 9月  29 00:03 hadoop-yarn-common-2.7.3.jar  
\-rw-r--r-- 1 haoren haoren   165867 9月  29 00:03 hadoop-yarn-client-2.7.3.jar  
\-rw-r--r-- 1 haoren haoren  2039143 9月  29 00:03 hadoop-yarn-api-2.7.3.jar  
\-rw-r--r-- 1 haoren haoren    71737 9月  29 00:03 hadoop-mapreduce-client-shuffle-2.7.3.jar  
\-rw-r--r-- 1 haoren haoren    62304 9月  29 00:03 hadoop-mapreduce-client-jobclient-2.7.3.jar  
\-rw-r--r-- 1 haoren haoren  1556539 9月  29 00:03 hadoop-mapreduce-client-core-2.7.3.jar  
\-rw-r--r-- 1 haoren haoren   776634 9月  29 00:03 hadoop-mapreduce-client-common-2.7.3.jar  
\-rw-r--r-- 1 haoren haoren   542869 9月  29 00:03 hadoop-mapreduce-client-app-2.7.3.jar  
\-rw-r--r-- 1 haoren haoren  8316190 9月  29 00:03 hadoop-hdfs-2.7.3.jar  
\-rw-r--r-- 1 haoren haoren  3479293 9月  29 00:03 hadoop-common-2.7.3.jar  
\-rw-r--r-- 1 haoren haoren    26012 9月  29 00:03 hadoop-client-2.7.3.jar  
\-rw-r--r-- 1 haoren haoren    94150 9月  29 00:03 hadoop-auth-2.7.3.jar  
\-rw-r--r-- 1 haoren haoren    40863 9月  29 00:03 hadoop-annotations-2.7.3.jar  
\-rw-r--r-- 1 haoren haoren    65012 9月  29 00:03 guice-servlet-3.0.jar  
\-rw-r--r-- 1 haoren haoren   710492 9月  29 00:03 guice-3.0.jar  
\-rw-r--r-- 1 haoren haoren  2189117 9月  29 00:03 guava-14.0.1.jar  
\-rw-r--r-- 1 haoren haoren   190432 9月  29 00:03 gson-2.2.4.jar  
\-rw-r--r-- 1 haoren haoren    18482 9月  29 00:03 eigenbase-properties-1.1.5.jar  
\-rw-r--r-- 1 haoren haoren  3224708 9月  29 00:03 derby-10.12.1.1.jar  
\-rw-r--r-- 1 haoren haoren  1809447 9月  29 00:03 datanucleus-rdbms-3.2.9.jar  
\-rw-r--r-- 1 haoren haoren  1890075 9月  29 00:03 datanucleus-core-3.2.10.jar  
\-rw-r--r-- 1 haoren haoren   339666 9月  29 00:03 datanucleus-api-jdo-3.2.6.jar  
\-rw-r--r-- 1 haoren haoren   248171 9月  29 00:03 curator-recipes-2.6.0.jar  
\-rw-r--r-- 1 haoren haoren   185245 9月  29 00:03 curator-framework-2.6.0.jar  
\-rw-r--r-- 1 haoren haoren    68866 9月  29 00:03 curator-client-2.6.0.jar  
\-rw-r--r-- 1 haoren haoren   164422 9月  29 00:03 core-1.1.2.jar  
\-rw-r--r-- 1 haoren haoren    79845 9月  29 00:03 compress-lzf-1.0.3.jar  
\-rw-r--r-- 1 haoren haoren    96221 9月  29 00:03 commons-pool-1.5.4.jar  
\-rw-r--r-- 1 haoren haoren   212453 9月  29 00:03 commons-net-2.2.jar  
\-rw-r--r-- 1 haoren haoren  2035066 9月  29 00:03 commons-math3-3.4.1.jar  
\-rw-r--r-- 1 haoren haoren    62050 9月  29 00:03 commons-logging-1.1.3.jar  
\-rw-r--r-- 1 haoren haoren   412739 9月  29 00:03 commons-lang3-3.3.2.jar  
\-rw-r--r-- 1 haoren haoren   284220 9月  29 00:03 commons-lang-2.6.jar  
\-rw-r--r-- 1 haoren haoren   185140 9月  29 00:03 commons-io-2.4.jar  
\-rw-r--r-- 1 haoren haoren   305001 9月  29 00:03 commons-httpclient-3.1.jar  
\-rw-r--r-- 1 haoren haoren   143602 9月  29 00:03 commons-digester-1.8.jar  
\-rw-r--r-- 1 haoren haoren   160519 9月  29 00:03 commons-dbcp-1.4.jar  
\-rw-r--r-- 1 haoren haoren   298829 9月  29 00:03 commons-configuration-1.6.jar  
\-rw-r--r-- 1 haoren haoren   241367 9月  29 00:03 commons-compress-1.4.1.jar  
\-rw-r--r-- 1 haoren haoren    30595 9月  29 00:03 commons-compiler-2.7.6.jar  
\-rw-r--r-- 1 haoren haoren   588337 9月  29 00:03 commons-collections-3.2.2.jar  
\-rw-r--r-- 1 haoren haoren   284184 9月  29 00:03 commons-codec-1.10.jar  
\-rw-r--r-- 1 haoren haoren    41123 9月  29 00:03 commons-cli-1.2.jar  
\-rw-r--r-- 1 haoren haoren   206035 9月  29 00:03 commons-beanutils-core-1.8.0.jar  
\-rw-r--r-- 1 haoren haoren   188671 9月  29 00:03 commons-beanutils-1.7.0.jar  
\-rw-r--r-- 1 haoren haoren    50619 9月  29 00:03 chill-java-0.8.0.jar  
\-rw-r--r-- 1 haoren haoren   223573 9月  29 00:03 chill\_2.11-0.8.0.jar  
\-rw-r--r-- 1 haoren haoren   442406 9月  29 00:03 calcite-linq4j-1.2.0-incubating.jar  
\-rw-r--r-- 1 haoren haoren  3519262 9月  29 00:03 calcite-core-1.2.0-incubating.jar  
\-rw-r--r-- 1 haoren haoren   258370 9月  29 00:03 calcite-avatica-1.2.0-incubating.jar  
\-rw-r--r-- 1 haoren haoren   135552 9月  29 00:03 breeze-macros\_2.11-0.11.2.jar  
\-rw-r--r-- 1 haoren haoren 13448966 9月  29 00:03 breeze\_2.11-0.11.2.jar  
\-rw-r--r-- 1 haoren haoren   110600 9月  29 00:03 bonecp-0.8.0.RELEASE.jar  
\-rw-r--r-- 1 haoren haoren  2842667 9月  29 00:03 bcprov-jdk15on-1.51.jar  
\-rw-r--r-- 1 haoren haoren    17008 9月  29 00:03 base64-2.3.8.jar  
\-rw-r--r-- 1 haoren haoren   180736 9月  29 00:03 avro-mapred-1.7.7-hadoop2.jar  
\-rw-r--r-- 1 haoren haoren   192993 9月  29 00:03 avro-ipc-1.7.7.jar  
\-rw-r--r-- 1 haoren haoren   436303 9月  29 00:03 avro-1.7.7.jar  
\-rw-r--r-- 1 haoren haoren  1194003 9月  29 00:03 arpack\_combined\_all-0.1.jar  
\-rw-r--r-- 1 haoren haoren    79912 9月  29 00:03 api-util-1.0.0-M20.jar  
\-rw-r--r-- 1 haoren haoren    16560 9月  29 00:03 api-asn1-api-1.0.0-M20.jar  
\-rw-r--r-- 1 haoren haoren   448794 9月  29 00:03 apache-log4j-extras-1.2.17.jar  
\-rw-r--r-- 1 haoren haoren   691479 9月  29 00:03 apacheds-kerberos-codec-2.0.0-M15.jar  
\-rw-r--r-- 1 haoren haoren    44925 9月  29 00:03 apacheds-i18n-2.0.0-M15.jar  
\-rw-r--r-- 1 haoren haoren    14766 9月  29 00:03 aopalliance-repackaged-2.4.0-b34.jar  
\-rw-r--r-- 1 haoren haoren     4467 9月  29 00:03 aopalliance-1.0.jar  
\-rw-r--r-- 1 haoren haoren   164368 9月  29 00:03 antlr-runtime-3.4.jar  
\-rw-r--r-- 1 haoren haoren   302248 9月  29 00:03 antlr4-runtime-4.5.3.jar  
\-rw-r--r-- 1 haoren haoren   445288 9月  29 00:03 antlr-2.7.7.jar  
\-rw-r--r-- 1 haoren haoren    69409 9月  29 00:03 activation-1.1.1.jar  
\-rw-rw-r-- 1 haoren haoren   990924 10月 20 08:56 mysql-connector-java-5.1.40.jar

[spark ha]: http://www.cnblogs.com/ciade/p/5174691.html