Hadoop快速入门学习

客官°小女子只卖身不卖艺 2022-06-08 04:37 173阅读 0赞

原文: http://www.mamicode.com/info-detail-1818829.html

总的来说，hadoop的思路比较简单(map-reduce)，就是将任务分开进行，最后汇总。但这个思路实现起来，比较复杂，但相对于几年前Intel等硬件公司提出的网格运算等方式，显得更加开放。

**你难任你难，哥就是头铁！**

Tip：实践应用是核心，本文概念为主，有些部分可能会有些晦涩，直接跳过就好（不是特别重要）。

本文代码实践在：[https://github.com/wanliwang/cayman/tree/master/cm-web][https_github.com_wanliwang_cayman_tree_master_cm-web]的test->backupcode->hadoop部分。

![技术分享][636325-20170522213725335-11646785.jpg]

![技术分享][636325-20170522213741429-1067843158.png]

提到列式(Column Family)数据库，就不得不提Google的BigTable，其开源版本就是我们熟知的HBASE。BigTable建立在谷歌的另两个系统GFS和Chubby之上，这三个系统和分布式计算编程模型MapReduce共同构成Google云计算的基础，Chubby解决主从自动切换的基础。接下来通过一个表格对比来引入Hadoop。

Hadoop是有Apache Lucene的作者Boug Cutting开发的，其主体结构如下图所示。

![技术分享][636325-20170522213806945-808514203.png]

![技术分享][636325-20170522213815898-978591549.png]

HDFS（Hadoop File System）

**NameNode**:整个文件系统的大脑，提供整个系统的目录信息并管理各个数据服务器。

**DataNode**:分布式文件系统中每一个文件被切割为若干数据块，每个数据块存储在不同服务器，这些就是数据服务器。

Block:每个被切分的数据块就是一段文件内容，其是基本的存储单位，被称为数据块，典型大小为64MB。

Tip:由于硬件错误是常态，HDFS是很多台Server的集合，因而错误检测和恢复是核心功能；其以流式读为主，做批量操作，关注数据访问的高吞吐量。

HDFS采用**master/slave架构**，一个HDFS集群由**一个NameNode和若干DataNode组成**，中心服务器NameNode负责管理文件系统的namespace和客户端对文件的访问。DataNode一般一个节点一个，负责管理节点上附带的存储。在内部，一个文件被分成一个或多个block，这些block存储在DataNode集合中。NameNode和DataNode均可运行在廉价的linux机器上，HDFS由java语言开发，跨平台好，总体结构示意图如下所示。

![技术分享][636325-20170522213834085-3190826.png]

复制：采用rack-aware策略改进数据可靠性和网络带宽的利用；NameNode决定每个DataNode的Rack id；大多数情况，**replication因子是3**，简单来说就是将一个副本放在本地机架节点，一个副本放在同一机架另一个节点，最后一个放在不同机架；在读取时，会选择最近的副本；NameNode启动时会进入SafeMode状态，该状态时，NameNode不会进行数据块的复制，这是会检测DataNode的副本数量，如果满足要求则认为安全。

NameNode用于存储元数据，任何修改均被Editlog记录，通讯协议基于TCP/IP，可以通过java API调用。

安装Hadoop，步骤如下所示

![技术分享][jia.gif]

1 1.安装jdk
 2 2.安装hadoop集群情况(创建对应的hadoop应用，用于统一管理, useradd Hadoop, passwd hadoop) 
 3 node0: 192.168.181.136(NameNode/JobTracker)
 4 node1: 192.168.181.132(DataNode/TaskTracker)
 5 node2: 192.168.181.133(DataNode / TaskTracker)
 6 node3: 192.168.181.134(DataNode / TaskTracker)
 7 etc/hosts和hostname设置, 如192.168.181.136 node0, #hostname node0
 8 下载hadoop-1.2.1.tar包，放在/home/hadoop，入后修改权限
 9 #wget http://mirror.esocc.com/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
 10 #tar –zxvf Hadoop-1.2.1.tar
 11 #chown –R Hadoop:Hadoop Hadoop-1.2.1
 12 配置ssh无密码登录，在hadoop启动后，NameNode通过SSH(sSecureShell)来启动和停止各个Datanode上的各个守护进程，这就需要节点间执行指令无需密码，因此需要配置SSH运用无密码公钥认证的方法。
 13 在本例中，node0为主节点，需要连接node1,2,3，需要确认每台机器安装ssh，并且datanode上的sshd服务启动。
 14 #ssh-keygen –t rsa, 默认保存在/home/Hadoop/.ssh, 然后将其复制到每个机器的/home/Hadoop/.ssh/authorized_keys，命令如下,4台机器都需要(显得比较复杂，到时看看docker或者.sh脚本文件)
 15 #su Hadoop
 16 #cd /home/Hadoop
 17 # ssh-keygen –t rsa
 18 #cd .ssh
 19 #cp id_rsa.pub authorized_keys
 20 #ssh localhost
 21 #ssh node0
 22 在node0,1,2,3上交换公钥
 23 #scp authorized_keys hadoop@node1:/tmp, 复制keys到node1的/tmp目录
 24 #cat /tmp/authorized_keys>>/home/Hadoop/.ssh/authorized_keys
 25 在node0上有了所有公钥后，在复制node0上key到其他机器
 26 #scp /home/Hadoop/.ssh/authorized_key root@node1:/home/hadoop/.ssh
 27 #chmod 644 authorized_keys，设置文件权限并测试
 28 将当前用户切换到hadoop，如果集群内机器环境一直，可以在一台机器配置好后，用scp命令将master上的hadoop复制到每一个slave
 29 修改hadoop-1.2.1/conf，配置hadoop-env.sh文件，添加JAVA_HOME路径
 30 配置conf/core-site.xml
 31 <configuration>
 32 
 33 <property>
 34 <name>fs.default.name</name>
 35 <value>hdfs://node0:49000</value>
 36 </property>
 37 
 38 <property>
 39 <name>hadoop.tmp.dir</name>
 40 <value>/home/hadoop/hadoop-1.2.1/var</value>
 41 </property>
 42 <property>
 43 <name>dfs.support.append</name>
 44 <value>true</value>
 45 </property>
 46 
 47 <property>
 48 <name>dfs.permissions</name>
 49 <value>false</value>
 50 </property>
 51 </configuration>
 52 
 53 配置conf/mapred-site.xml
 54 <configuration>
 55 
 56 <property>
 57 <name>mapred.job.tracker</name>
 58 <value>/node0:49001</value>
 59 </property>
 60 
 61 <property>
 62 <name>mapred.local.dir</name>
 63 <value>/home/hadoop/hadoop-1.2.1/var</value>
 64 </property>
 65 </configuration>
 66 
 67 配置hdfs-site.xml
 68 <configuration>
 69 
 70 <property>
 71 <name>dfs.name.dir</name>
 72 <value>/home/hadoop/name1</value>
 73 </property>
 74 <property>
 75 <name>dfs.data.dir</name>
 76 <value>/home/hadoop/data1</value>
 77 </property>
 78 
 79 <property>
 80 <name>dfs.replication</name>
 81 <value>3</value>
 82 </property>
 83 </configuration>
 84 
 85 配置主从节点
 86 conf/masters: node0
 87 conf/slaves: node1,2,3
 88 启动与测试
 89 #hadoop namenode –format
 90 #/home/hadoop/xxx/bin/start-all.sh

在分布式模式下，hadoop配置文件中不能使用ip，必须使用主机名，安装hadoop必须在所有节点上使用相同配置和安装路径，并用相同用户启动。Hadoop中的HDFS和Map-Reduce可以分别启动，NameNode和JobTracker可以部署到不同节点，但小集群一般在一起，注意元数据安全即可。

**Hdfs常见操作**，请见下表所示，在实践中，一般都是通过API调用，了解下就好

<table style="border-collapse:collapse"> 
 <tbody> 
 <tr style="background:#5b9bd5"> 
 <td style="padding-left:7px; padding-right:7px; border-top:solid #5b9bd5 0.5pt; border-left:solid #5b9bd5 0.5pt; border-bottom:solid #5b9bd5 0.5pt; border-right:none"> 命令</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:solid #5b9bd5 0.5pt; border-left:none; border-bottom:solid #5b9bd5 0.5pt; border-right:none"> 诠释</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:solid #5b9bd5 0.5pt; border-left:none; border-bottom:solid #5b9bd5 0.5pt; border-right:none"> 命令</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:solid #5b9bd5 0.5pt; border-left:none; border-bottom:solid #5b9bd5 0.5pt; border-right:solid #5b9bd5 0.5pt"> 诠释</td> 
 </tr> 
 <tr style="background:#deeaf6"> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:solid #9cc2e5 0.5pt; border-bottom:solid #9cc2e5 0.5pt; border-right:solid #9cc2e5 0.5pt"> #cat</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:none; border-bottom:solid #9cc2e5 0.5pt; border-right:solid #9cc2e5 0.5pt"> Hadoop fs –cat uri输出内容</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:none; border-bottom:solid #9cc2e5 0.5pt; border-right:solid #9cc2e5 0.5pt"> #chgrp</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:none; border-bottom:solid #9cc2e5 0.5pt; border-right:solid #9cc2e5 0.5pt"> 修改文件所属组</td> 
 </tr> 
 <tr> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:solid #9cc2e5 0.5pt; border-bottom:solid #9cc2e5 0.5pt; border-right:solid #9cc2e5 0.5pt"> #chmod</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:none; border-bottom:solid #9cc2e5 0.5pt; border-right:solid #9cc2e5 0.5pt"> 修改文件去哪先</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:none; border-bottom:solid #9cc2e5 0.5pt; border-right:solid #9cc2e5 0.5pt"> #chown</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:none; border-bottom:solid #9cc2e5 0.5pt; border-right:solid #9cc2e5 0.5pt"> 修改文件拥有者</td> 
 </tr> 
 <tr style="background:#deeaf6"> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:solid #9cc2e5 0.5pt; border-bottom:solid #9cc2e5 0.5pt; border-right:solid #9cc2e5 0.5pt"> #put #copyFromLocal</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:none; border-bottom:solid #9cc2e5 0.5pt; border-right:solid #9cc2e5 0.5pt"> 从本地文件系统复制到目标系统</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:none; border-bottom:solid #9cc2e5 0.5pt; border-right:solid #9cc2e5 0.5pt"> #get #getmerge #copToLocal</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:none; border-bottom:solid #9cc2e5 0.5pt; border-right:solid #9cc2e5 0.5pt"> 复制文件到本地系统 Hadoop fs –gethdfs://host:port/user/Hadoop/file local file</td> 
 </tr> 
 <tr> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:solid #9cc2e5 0.5pt; border-bottom:solid #9cc2e5 0.5pt; border-right:solid #9cc2e5 0.5pt"> #cp</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:none; border-bottom:solid #9cc2e5 0.5pt; border-right:solid #9cc2e5 0.5pt"> 复制文件</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:none; border-bottom:solid #9cc2e5 0.5pt; border-right:solid #9cc2e5 0.5pt"> #du，#dus</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:none; border-bottom:solid #9cc2e5 0.5pt; border-right:solid #9cc2e5 0.5pt"> 显示目录、文件大小</td> 
 </tr> 
 <tr style="background:#deeaf6"> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:solid #9cc2e5 0.5pt; border-bottom:solid #9cc2e5 0.5pt; border-right:solid #9cc2e5 0.5pt"> #expunge</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:none; border-bottom:solid #9cc2e5 0.5pt; border-right:solid #9cc2e5 0.5pt"> 清空回收站</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:none; border-bottom:solid #9cc2e5 0.5pt; border-right:solid #9cc2e5 0.5pt"> #ls, lsr</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:none; border-bottom:solid #9cc2e5 0.5pt; border-right:solid #9cc2e5 0.5pt"> 显示文件信息</td> 
 </tr> 
 <tr> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:solid #9cc2e5 0.5pt; border-bottom:solid #9cc2e5 0.5pt; border-right:solid #9cc2e5 0.5pt"> #mv #movefromLocal</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:none; border-bottom:solid #9cc2e5 0.5pt; border-right:solid #9cc2e5 0.5pt"> 移动文件</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:none; border-bottom:solid #9cc2e5 0.5pt; border-right:solid #9cc2e5 0.5pt"> #rm #rmr</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:none; border-bottom:solid #9cc2e5 0.5pt; border-right:solid #9cc2e5 0.5pt"> 删除文件</td> 
 </tr> 
 <tr style="background:#deeaf6"> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:solid #9cc2e5 0.5pt; border-bottom:solid #9cc2e5 0.5pt; border-right:solid #9cc2e5 0.5pt"> #mkdir</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:none; border-bottom:solid #9cc2e5 0.5pt; border-right:solid #9cc2e5 0.5pt"> 创建目录</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:none; border-bottom:solid #9cc2e5 0.5pt; border-right:solid #9cc2e5 0.5pt"> #setrep</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:none; border-bottom:solid #9cc2e5 0.5pt; border-right:solid #9cc2e5 0.5pt"> 改变文件副本系数</td> 
 </tr> 
 <tr> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:solid #9cc2e5 0.5pt; border-bottom:solid #9cc2e5 0.5pt; border-right:solid #9cc2e5 0.5pt"> #stat</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:none; border-bottom:solid #9cc2e5 0.5pt; border-right:solid #9cc2e5 0.5pt"> 返回统计信息 hadoop fs –stat path</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:none; border-bottom:solid #9cc2e5 0.5pt; border-right:solid #9cc2e5 0.5pt"> 其他</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:none; border-bottom:solid #9cc2e5 0.5pt; border-right:solid #9cc2e5 0.5pt"> #tail #touchz</td> 
 </tr> 
 <tr style="background:#deeaf6"> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:solid #9cc2e5 0.5pt; border-bottom:solid #9cc2e5 0.5pt; border-right:solid #9cc2e5 0.5pt"> #test</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:none; border-bottom:solid #9cc2e5 0.5pt; border-right:solid #9cc2e5 0.5pt"> &nbsp;</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:none; border-bottom:solid #9cc2e5 0.5pt; border-right:solid #9cc2e5 0.5pt"> #text</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:none; border-bottom:solid #9cc2e5 0.5pt; border-right:solid #9cc2e5 0.5pt"> &nbsp;</td> 
 </tr> 
 </tbody> 
</table>

通过Java调用hdfs的示例如下所示，其实就是一个文件系统

![技术分享][jia.gif]

1 public void hdfsOpertion() throws Exception {
 2 Configuration conf = new Configuration();
 3 FileSystem hdfs = FileSystem.get(conf); // 获得HDFS文件系统对象
 4 FileSystem local = FileSystem.getLocal(conf);// 获得本地文件系统
 5 Path inputDir = new Path("in_xxx");
 6 Path hdfsFile = new Path("fs_xxx");
 7 
 8 try {
 9 FileStatus[] inputFiles = local.listStatus(inputDir);// 获得目录文件列表
 10 FSDataOutputStream out = hdfs.create(hdfsFile);// 生成hdfs输出流
 11 for (int i = 0; i < inputFiles.length; i++) {
 12 System.out.println(inputFiles[i].getPath().getName());
 13 FSDataInputStream in = local.open(inputFiles[i].getPath());// 打开本地输入流
 14 byte[] buffer = new byte[256];
 15 int bytesRead = 0;
 16 while ((bytesRead = in.read(buffer)) > 0) {
 17 out.write(buffer, 0, bytesRead);
 18 }
 19 in.close();
 20 }
 21 out.close();
 22 } catch (Exception ex) {
 23 ex.printStackTrace();
 24 }
 25 }

![技术分享][636325-20170522214208288-237999210.png]

*  **Map Reduce核心概念**

Job: 用户的每一个计算请求就是一个作业

JobTracker:用户提交作业的服务器，同时它还负责各个作业任务的分配，管理所有的任务服务器。

Task:一个都需要拆分，交个多个服务器完成，拆分出来的执行单位就是任务

TaskTracker:就是任劳任怨的工人，负责执行具体的任务。

*  **Map Reduce计算模型**

在hadoop中，每一个MapReduce任务被初始化为一个Job,每个Job又被分为两个阶段：Map阶段、Reduce阶段。这两个阶段分别用两个函数表示，Map函数接受一个<key,value>输入，然后产生一个<key,value>的中间输出；之后hadoop会将具有相同中间key的**value集合**传给Reduce函数，之后Reduce处理后得到<key,value>形式输出。

![技术分享][636325-20170522214223570-1796393606.png]

在Java中接入Hadoop的配置与代码如下所示。

![技术分享][jia.gif]

1 Maven:
 2 <dependency>
 3 <groupId>org.apache.hadoop</groupId>
 4 <artifactId>hadoop-common</artifactId>
 5 <version>${hadoop.version}</version>
 6 </dependency>
 7 <dependency>
 8 <groupId>org.apache.hadoop</groupId>
 9 <artifactId>hadoop-hdfs</artifactId>
 10 <version>${hadoop.version}</version>
 11 </dependency>
 12 <dependency>
 13 <groupId>org.apache.hadoop</groupId>
 14 <artifactId>hadoop-mapreduce-client-core</artifactId>
 15 <version>${hadoop.version}</version>
 16 </dependency>
 17 
 18 Code:
 19 public class WordCountNew extends Configured implements Tool {
 20 public static class Map extends Mapper<LongWritable, Text, Text, IntWritable> {
 21 private final static IntWritable one = new IntWritable(1);
 22 private Text word = new Text();
 23 
 24 @Override
 25 protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, IntWritable>.Context context)
 26 throws IOException, InterruptedException {
 27 String line = value.toString();
 28 // 字符串分解器
 29 StringTokenizer tokenizer = new StringTokenizer(line);
 30 while (tokenizer.hasMoreTokens()) {
 31 word.set(tokenizer.nextToken());
 32 context.write(word, one);
 33 }
 34 }
 35 }
 36 
 37 public static class Reduce extends Reducer<Text, IntWritable, Text, IntWritable> {
 38 @Override
 39 protected void reduce(Text key, Iterable<IntWritable> values,
 40 Reducer<Text, IntWritable, Text, IntWritable>.Context context)
 41 throws IOException, InterruptedException {
 42 int sum = 0;
 43 for (IntWritable val : values) {
 44 sum += val.get();
 45 }
 46 context.write(key, new IntWritable(sum));
 47 }
 48 }
 49 
 50 @Override
 51 public int run(String[] arg0) throws Exception {
 52 Job job = new Job(getConf());
 53 job.setJarByClass(WordCountNew.class);
 54 job.setJobName("wordcount");
 55 job.setOutputKeyClass(Text.class);
 56 job.setOutputValueClass(IntWritable.class);
 57 job.setMapperClass(Map.class);
 58 job.setReducerClass(Reduce.class);
 59 job.setInputFormatClass(TextInputFormat.class);
 60 job.setOutputFormatClass(TextOutputFormat.class);
 61 FileInputFormat.setInputPaths(job, new Path("xxx01.txt"));
 62 FileOutputFormat.setOutputPath(job, new Path("xxx02.txt"));
 63 boolean success = job.waitForCompletion(true);
 64 return success ? 0 : 1;
 65 }

**MapReduce的数据流和控制流**

![技术分享][636325-20170522214404023-398631020.png]

![技术分享][636325-20170522214414523-667641428.png]

zookeeper主要用来解决分布式应用中经常遇到的数据管理的问题，如**统一命名服务、状态同步服务、集群管理和分布式应用配置项**的管理，**Zookeeper典型的应用场景(**配置文件的管理、集群管理、同步锁、Leader选举和队列管理等)。

**Zookeeper配置安装**的步骤如下所示

![技术分享][jia.gif]

下载zookeeper包
    修改zoo.cfg配置文件
    initLimit=5 #Zookeeper中链接到Leader的Follower服务器初始化链接能忍耐的心跳间隔数:5*2000=10秒
    syncLimit=2 #请求应答的时间长度2*2000=4秒
    dataDir=/home/Hadoop/zookeeper
    server.1=node1:2888:3888 #用于选举时服务器相互通信的端口
    server.2=node2:2888:3888
    server.3=node3:2888:3888
    配置myid文件，在dataDir目录，判断时哪个server
    启动zookeeper，bin/zkServer.sh start

ZooKeeper数据模型，其会维护一个层次关系的数据结构，非常类似标准文件系统

![技术分享][636325-20170522214503648-2020415301.png]

ZooKeeper的基础使用，其作为一个分布式服务框架，主要用于解决分布式集群的一致性问题，它提供类似文件系统目录节点树方式的数据存储，并会维护和监控数据的状态变化，其常见方法如下所示。

java调用zookeeper的API示例如下

![技术分享][jia.gif]

1 public void testName() throws Exception {
     2         // 1.创建一个和服务器的链接
     3         ZooKeeper zk = new ZooKeeper("localhost:" + CLIENT_PORT, CONNECT_TIMEOUT, new Watcher() {
     4             @Override
     5             public void process(WatchedEvent event) {
     6                 System.out.println(String.format("已经触发了%s事件", event.getType()));
     7             }
     8         });
     9 
    10         // 2.创建一个目录节点
    11         zk.create("/testRootPath", "testRootData".getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
    12         // 3.创建子节点
    13         zk.create("/testRootPath/testChildrenPathOne", "testChildrenPathOne".getBytes(), Ids.OPEN_ACL_UNSAFE,
    14                 CreateMode.PERSISTENT);
    15         System.out.println(new String(zk.getData("/testRootPath", false, null)));
    16         // 4.查找子目录列表
    17         System.out.println(zk.getChildren("/testRootPath", true));
    18         // 5.修改子目录节点数据
    19         zk.setData("/testRootPath/testChildrenPathOne", "modifyChildrenPathOne".getBytes(), -1);
    20         System.out.println("目录节点状态：[" + zk.exists("/testRootPath", true) + "]");
    21         // 6.删除节点
    22         zk.delete("/testRootPath/testChildrenPathOne", -1);
    23         // 7.关闭链接
    24         zk.close();
    25     }

**ZooKeeper的典型应用场景**

统一命名服务(Name Service):分布式应用，通常需要一整套的命名规则，一般使用树形命名，这儿和JNDI很相似。

配置管理：ZooKeeper统一管理配置信息，保存在对应目录，一旦变化，对应机器就会收到通知(观察者)。

集群管理：ZooKeeper不仅能维护当前集群中及其的服务状态，并能选出一个总管(Leader Election)，从而避免单点故障，示例代码如下。

**共享锁(Locks)**:共享锁在同一个进程容易实现，但再不同Server见不好实现，但Zookeeper却很容易实现，方式就是需要获取锁的Servere创建一个EPHEMERAL\_SEQUENTIAL目录节点，然后调用getChildren方法获得当前目录节点列表中最小的目录节点，并判断，如果未自己建立，则获得锁，如果不是就调用exist方法监控节点变化，一直到自己创建的节点时最小，从而获得锁，释放很贱，只要删除前面自己创建的目录节点就OK。

队列管理(Queue Management):可以处理两类队列，一种是当成员齐聚时，队列才可用，否则一直等待，被称为同步队列；一种是按照FIFO方式进行入队和出队，例如实现生产-消费者模型。

![技术分享][636325-20170522214608382-2125194274.png]

HBase（逻辑结构）是BigTable的开源版，其建立在HDFS（物理结构）之上，提供高可靠性、高性能、**列存储**和可伸缩、实时读写的数据库系统。它结余NOSQL和RDBMS之间，仅能通过主键和主键range来检索数据，支持单行事务（可通过hive支持来实现多表join等复杂操作），主要用于存储非结构和半结构化的松散数据。与Hadoop一样，Hbase主要依靠横向扩展来提高计算和存储能力。

Hbase的表具有以下特点：

大：一个表可以有上亿行

面向列：面向列族的存储和权限控制，列族独立检索。

**稀疏：对于空的列，并不占用空间**，因此表可以设计的非常稀疏。

*  **逻辑视图**:HBase以表的形式存储数据，表由行和列组成，列划分为若干个列族row family,如下表所示。

<table style="border-collapse:collapse"> 
 <tbody> 
 <tr> 
 <td style="padding-left:7px; padding-right:7px; border:solid 0.5pt">Row Key</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:solid 0.5pt; border-left:none; border-bottom:solid 0.5pt; border-right:solid 0.5pt"> Column-family1</td> 
 <td colspan="2" style="padding-left:7px; padding-right:7px; border-top:solid 0.5pt; border-left:none; border-bottom:solid 0.5pt; border-right:solid 0.5pt"> Column-family2</td> 
 </tr> 
 <tr> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:solid 0.5pt; border-bottom:solid 0.5pt; border-right:solid 0.5pt"> Column1</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:none; border-bottom:solid 0.5pt; border-right:solid 0.5pt"> Column1</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:none; border-bottom:solid 0.5pt; border-right:solid 0.5pt"> Column1</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:none; border-bottom:solid 0.5pt; border-right:solid 0.5pt"> Column2</td> 
 </tr> 
 <tr> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:solid 0.5pt; border-bottom:solid 0.5pt; border-right:solid 0.5pt"> Key1</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:none; border-bottom:solid 0.5pt; border-right:solid 0.5pt"> t2:abc t1:bcd</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:none; border-bottom:solid 0.5pt; border-right:solid 0.5pt"> &nbsp;</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:none; border-bottom:solid 0.5pt; border-right:solid 0.5pt"> t1:354</td> 
 </tr> 
 <tr> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:solid 0.5pt; border-bottom:solid 0.5pt; border-right:solid 0.5pt"> Key2</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:none; border-bottom:solid 0.5pt; border-right:solid 0.5pt"> t3:efy t1:uio</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:none; border-bottom:solid 0.5pt; border-right:solid 0.5pt"> t2:tyi t1:456</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:none; border-bottom:solid 0.5pt; border-right:solid 0.5pt"> &nbsp;</td> 
 </tr> 
 </tbody> 
</table>

**Row Key**：检索数据的主键，访问HBase中的行，可以通过单个row key（字典序，数值型数据需要补0）访问；通过row key的range的访问；全表扫描。

**列族**：**表中的每一列，都归属于列族，列族是表schema的一部分，必须在使用前定义，而列不是，关键理解**。列名都以列族作为前缀，例如courses:history和courses:math都数据courses列族。

**时间戳**：通过row和column确定一个存储单元cell，每个cell保存同一份数据的多个版本，通过时间戳来索引。时间戳为64位证书，精确到毫秒，按时间倒序排列。为了避免版本过多，一般通过个数或时间来回收。

**Cell**:由\{row key, column(=<family>+<label>),version\}唯一确定的单元，cell中数据没有类型，以字节码存储。

*  **物理存储**：指如何将大表分布的存储在多台服务器。

特点：Table上所有行使用row key排列;Table在行方向上分割为多个HRegion;HRegion按大小分割，每个表已开始只有一个region，随着数据不断插入，region增大，当超过阈值是，会分裂成连个新的HRegion；HRegion是HBase中分布式存储和负载均衡最小单元，表示不同Region可以分布在不同RegionServer上；HRegion是分布式存储的最小单元，但不是最小存储单元，实际上，**一个Region由多个Store组成，一个Store保存一个columns family，**一个Store又由一个memStore和0-多个StoreFile（**重点是StoreFile就是一个Hdfs中文件，通过压缩存储减少通信消耗，这儿就找到了对应关系**，还可以细分，就不介绍了）组成。（脑海里有了大体的印象）

![技术分享][636325-20170522214631335-1358092380.png]

*  **系统架构**

![技术分享][636325-20170522214643179-944995631.png]

Client：包含访问HBase接口，client维护一些cahce来加快访问，比如region未知信息。

ZooKeeper:保证任何时候集群只有一个master；存储所有region寻址接口；实施监控Region Server状态，将其上下线消息实时通知给master；存储Hbase的schema,包含哪些table,每个table的column family；为region server分配region；负责Region server的负载均衡；发现失效的Region Server并重新分配其上Region，GFS上的垃圾文件回收；处理schema更新请求。

Region Server：维护Master分配给它的Region，处理这些Region的IO请求；切分在运行中变得过大的Region。

Tip:可以看到client访问HBase数据的过程并不需要master参与，寻址访问zookeeper和Region Server，数据读写访问Region Server,master只维护table和Region的元数据，负载低。

*  关键算法和流程

Region定位：大表使用三层类似B+树的结构来存储Region位置，第一次保存zookeeper中数据，持有RootRegion位置；第二层RootRegion是.META表的第一个Region，其中保存了其他Region的位置；第三层是个特殊的表，存储HBase中所有数据表的Region位置信息。

读写过程：HBase使用MemStore和StoreFile存储对表的更新。数据在更新时首先写入Log和MemStore，MemStore中的数据是排序的，当MemStore累计到一定阈值，会创建新MemStore，并将老MemStore添加到Flush队列，有单独线程写到磁盘，称为一个StoreFile，同时系统会在zookeeper记录一个Redo point，表示更新已经持久化。系统出现问题是，可以使用log来恢复check point之后的数据。（思路和传统数据库一致）

Region分配：任何时刻，一个region只能分配给一个server，master记录了当前可用的Server以及当前region的分配情况，当存在未分配region且有server有可用空间时，master就给这个server发送一个装载请求，分配该region。

Region Server的上下线：master通过zookeeper来跟踪region server状态，当某个server启动时，会在zookeeper的server目录建立代表自己的文件，并获得该文件独占锁，由于master订阅了该目录的变更小心，因此当文件出现增删时，可以接到通知。下线时，断开与zookeeper会话，释放独占锁，这时master会发现并删除对应目录文件，并将原有region分配给其他server。

master的上下线：从zookeeper获取唯一master锁，阻止其他人称为master；扫描zookeeper上server目录，获得region server列表；与每个server通信，获得Region分配的情况；扫描META.region集合，计算得到当前未分配的region,放入待分配列表。

*  安装与配置

![技术分享][jia.gif]

1 下载文件wget xxxx/hbase.tar.gz, tar zxvf habse.xxx
 2 修改配置文件hbase-env.sh
 3 #export JAVA_HOME=user/local/java
 4 #export HBASE_CLASSPATH=/home/Hadoop/Hadoop.xx/conf
 5 #export HBASE_MANAGES_ZK=false
 6 修改hbase-site.xml
 7 <configuration>
 8 <property>
 9 <name>hbase.rootdir</name>
 10 <value>hdfs://node0:49000/hbase</value>
 11 </property>
 12 <property>
 13 <name>hbase.cluster.distributed</name>
 14 <value>true</value>
 15 </property>
 16 <property>
 17 <name>hbase.tmp.dir</name>
 18 <value>/home/hadoop/hbase</value>
 19 </property>
 20 </configuration>
 21 指定Hbase的regionServers
 22 最后在系统上设置最大文件数限制和进程数限制/etc/security/limits/conf
 23 #hadoop-nofile 3268
 24 #hadoop soft/hard nproc 32000

*  常见操作

比如创建一个如下表格

<table style="border-collapse:collapse"> 
 <tbody> 
 <tr> 
 <td style="padding-left:7px; padding-right:7px; border:solid 0.5pt">#name</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:solid 0.5pt; border-left:none; border-bottom:solid 0.5pt; border-right:solid 0.5pt"> #grad</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:solid 0.5pt; border-left:none; border-bottom:solid 0.5pt; border-right:solid 0.5pt"> #course:math</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:solid 0.5pt; border-left:none; border-bottom:solid 0.5pt; border-right:solid 0.5pt"> #course:art</td> 
 </tr> 
 <tr> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:solid 0.5pt; border-bottom:solid 0.5pt; border-right:solid 0.5pt"> Xionger</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:none; border-bottom:solid 0.5pt; border-right:solid 0.5pt"> 1</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:none; border-bottom:solid 0.5pt; border-right:solid 0.5pt"> 62</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:none; border-bottom:solid 0.5pt; border-right:solid 0.5pt"> 60</td> 
 </tr> 
 <tr> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:solid 0.5pt; border-bottom:solid 0.5pt; border-right:solid 0.5pt"> xiongda</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:none; border-bottom:solid 0.5pt; border-right:solid 0.5pt"> 2</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:none; border-bottom:solid 0.5pt; border-right:solid 0.5pt"> 100</td> 
 <td style="padding-left:7px; padding-right:7px; border-top:none; border-left:none; border-bottom:solid 0.5pt; border-right:solid 0.5pt"> 98</td> 
 </tr> 
 </tbody> 
</table>

![技术分享][jia.gif]

1 create‘scores‘, ‘grade‘, ‘course‘ #创建scores表，列族为grade,course 
    2 list #查看有哪些表 
    3 describe ‘scores‘ #查看表构造 
    4 put ‘scores‘, ‘xionger‘,‘course:math;, ‘62‘ #插入一条数据 
    5 get ‘score‘ , ‘xionger‘ #获得熊二成绩 
    6 scan ‘scores‘#扫描表中所有数据 
    7 scan ‘scores‘, {columns=>[‘course:‘]} #获得courses列族数据

Tip:

终于完成了，帅，这部分内容之后重点在于既有的集成解决方案，包括docker上的部署等。

此外，有空考虑区块链方面的学习，同时把数据结构好好再学习下，感觉还是不太OK。，比如B+树。

参考资料：

1.  皮雄军. NoSQL数据库技术实战\[M\]. 北京:清华大学出版社, 2015.

[Hadoop快速入门][Hadoop]

标签：[系统架构][Link 1]   [修改文件][Link 2]   [classpath][]   [size][]   [计算模型][Link 3]   [war][]   [精确][Link 4]   [主键][Link 5]   [pat][]

[https_github.com_wanliwang_cayman_tree_master_cm-web]: https://github.com/wanliwang/cayman/tree/master/cm-web
[636325-20170522213725335-11646785.jpg]: /images/20220608/46f281963fbd42c895b9c1d6da561e54.png
[636325-20170522213741429-1067843158.png]: /images/20220608/edcf1bc7949046909272efe07d64b22b.png
[636325-20170522213806945-808514203.png]: /images/20220608/bfd60e8875364a72b040673cbc515681.png
[636325-20170522213815898-978591549.png]: /images/20220608/9440074f21704454b68448a5e4626fa1.png
[636325-20170522213834085-3190826.png]: /images/20220608/b844310d2ef446e89ae193fd44db86e0.png
[jia.gif]: /images/20220608/804612e1a9c9450095c5125351bccfc3.png
[636325-20170522214208288-237999210.png]: /images/20220608/11b3ba6cc54640b3a1f98484d6682688.png
[636325-20170522214223570-1796393606.png]: /images/20220608/9c9714f56d594605b0dd467054b78b08.png
[636325-20170522214404023-398631020.png]: /images/20220608/14836aa14472470e821cf038f285f20b.png
[636325-20170522214414523-667641428.png]: /images/20220608/bc1018757bce466eb56dc5d51b8e8da1.png
[636325-20170522214503648-2020415301.png]: /images/20220608/2b167d53ba5f448b8cae74e98dc7f518.png
[636325-20170522214608382-2125194274.png]: /images/20220608/cedcbd4c37324676a9bf13167ef0f7b9.png
[636325-20170522214631335-1358092380.png]: /images/20220608/b57046b7f92546fdbdd7962b529c77a9.png
[636325-20170522214643179-944995631.png]: /images/20220608/addecc5a1610448790b8f0908bf018b9.png
[Hadoop]: http://www.mamicode.com/info-detail-1818829.html
[Link 1]: http://www.mamicode.com/so/1/%e7%b3%bb%e7%bb%9f%e6%9e%b6%e6%9e%84
[Link 2]: http://www.mamicode.com/so/1/%e4%bf%ae%e6%94%b9%e6%96%87%e4%bb%b6
[classpath]: http://www.mamicode.com/so/1/classpath
[size]: http://www.mamicode.com/so/1/size
[Link 3]: http://www.mamicode.com/so/1/%e8%ae%a1%e7%ae%97%e6%a8%a1%e5%9e%8b
[war]: http://www.mamicode.com/so/1/war
[Link 4]: http://www.mamicode.com/so/1/%e7%b2%be%e7%a1%ae
[Link 5]: http://www.mamicode.com/so/1/%e4%b8%bb%e9%94%ae
[pat]: http://www.mamicode.com/so/1/pat