HDFS配置Kerberos认证

悠悠 2022-08-22 11:23 571阅读 0赞

HDFS配置Kerberos认证

2014.11.04

本文主要记录 CDH [Hadoop][] 集群上配置 HDFS 集成 Kerberos 的过程，包括 Kerberos 的安装和 Hadoop 相关配置修改说明。

> 注意：
> 
> 下面第一、二部分内容，摘抄自《[Hadoop的kerberos的实践部署][Hadoop_kerberos]》，主要是为了对 Hadoop 的认证机制和 Kerberos 认证协议做个简单介绍。在此，对原作者表示感谢。

# 1. Hadoop 的认证机制 #

简单来说，没有做 kerberos 认证的 Hadoop，只要有 client 端就能够连接上。而且，通过一个有 root 的权限的内网机器，通过创建对应的 linux 用户，就能够得到 Hadoop 集群上对应的权限。

而实行 Kerberos 后，任意机器的任意用户都必须现在 Kerberos 的 KDC 中有记录，才允许和集群中其它的模块进行通信。

详细介绍请参考 [Hadoop安全机制研究][Hadoop 1]

# 2. Kerberos 认证协议 #

Kerberos 是一种网络认证协议，其设计目标是通过密钥系统为客户机/服务器应用程序提供强大的认证服务。

使用 Kerberos 时，一个客户端需要经过三个步骤来获取服务:

*  认证：客户端向认证服务器发送一条报文，并获取一个含时间戳的 Ticket-Granting Ticket（TGT）。
 *  授权：客户端使用 TGT 向 Ticket-Granting Server（TGS）请求一个服务 Ticket。
 *  服务请求：客户端向服务器出示服务 Ticket ，以证实自己的合法性。

为此，Kerberos 需要 The Key Distribution Centers（KDC）来进行认证。KDC 只有一个 Master，可以带多个 slaves 机器。slaves 机器仅进行普通验证。Mater 上做的修改需要自动同步到 slaves。

另外，KDC 需要一个 admin，来进行日常的管理操作。这个 admin 可以通过远程或者本地方式登录。

# 3. 搭建 Kerberos #

## 3.1 环境 ##

我们在三个节点的服务器上安装 Kerberos，这三个节点上安装了 hadoop 集群，安装 hadoop 过程见：[使用yum安装CDH Hadoop集群][yum_CDH Hadoop]。这三个节点机器分布为：cdh1、cdh2、cdh3。

*  操作系统：CentOs 6.6
 *  运行用户：root

## 3.2 安装过程 ##

### 3.2.1 准备工作 ###

确认添加主机名解析到 `/etc/hosts` 文件中。

$ cat /etc/hosts
    127.0.0.1       localhost
    
    192.168.56.121 cdh1
    192.168.56.122 cdh2
    192.168.56.123 cdh3

> 注意：hostname 请使用小写，要不然在集成 kerberos 时会出现一些错误。

### 3.2.2 安装 kdc server ###

在 KDC (这里是 cdh1 ) 上安装包 krb5、krb5-server 和 krb5-client。

$ yum install krb5-server krb5-libs krb5-auth-dialog krb5-workstation  -y

在其他节点（cdh1、cdh2、cdh3）安装 krb5-devel、krb5-workstation ：

$ ssh cdh1 "yum install krb5-devel krb5-workstation -y"
    $ ssh cdh2 "yum install krb5-devel krb5-workstation -y"
    $ ssh cdh3 "yum install krb5-devel krb5-workstation -y"

### 3.2.3 修改配置文件 ###

kdc 服务器涉及到三个配置文件：

/etc/krb5.conf
    /var/kerberos/krb5kdc/kdc.conf
    /var/kerberos/krb5kdc/kadm5.acl

配置 Kerberos 的一种方法是编辑配置文件 /etc/krb5.conf。默认安装的文件中包含多个示例项。

$ cat /etc/krb5.conf
      [logging]
       default = FILE:/var/log/krb5libs.log
       kdc = FILE:/var/log/krb5kdc.log
       admin_server = FILE:/var/log/kadmind.log
    
      [libdefaults]
       default_realm = JAVACHEN.COM
       dns_lookup_realm = false
       dns_lookup_kdc = false
       clockskew = 120
       ticket_lifetime = 24h
       renew_lifetime = 7d
       forwardable = true
       renewable = true
       udp_preference_limit = 1
       default_tgs_enctypes = arcfour-hmac
       default_tkt_enctypes = arcfour-hmac
    
      [realms]
       JAVACHEN.COM = {
        kdc = cdh1:88
        admin_server = cdh1:749
       }
    
      [domain_realm]
        .javachen.com = JAVACHEN.COM
        www.javachen.com = JAVACHEN.COM
    
      [kdc]
      profile=/var/kerberos/krb5kdc/kdc.conf

### 说明： ###

*  `[logging]`：表示 server 端的日志的打印位置
 *  `[libdefaults]`：每种连接的默认配置，需要注意以下几个关键的小配置
    
     *  `default_realm = JAVACHEN.COM`：设置 Kerberos 应用程序的默认领域。如果您有多个领域，只需向 \[realms\] 节添加其他的语句。
     *  `udp_preference_limit= 1`：禁止使用 udp 可以防止一个Hadoop中的错误
     *  `clockskew`：时钟偏差是不完全符合主机系统时钟的票据时戳的容差，超过此容差将不接受此票据。通常，将时钟扭斜设置为 300 秒（5 分钟）。这意味着从服务器的角度看，票证的时间戳与它的偏差可以是在前后 5 分钟内。
     *  `ticket_lifetime`： 表明凭证生效的时限，一般为24小时。
     *  `renew_lifetime`： 表明凭证最长可以被延期的时限，一般为一个礼拜。当凭证过期之后，对安全认证的服务的后续访问则会失败。
 *  `[realms]`：列举使用的 realm。
    
     *  `kdc`：代表要 kdc 的位置。格式是 `机器:端口`
     *  `admin_server`：代表 admin 的位置。格式是 `机器:端口`
     *  `default_domain`：代表默认的域名
 *  `[appdefaults]`：可以设定一些针对特定应用的配置，覆盖默认配置。

修改 `/var/kerberos/krb5kdc/kdc.conf` ，该文件包含 Kerberos 的配置信息。例如，KDC 的位置，Kerbero 的 admin 的realms 等。需要所有使用的 Kerberos 的机器上的配置文件都同步。这里仅列举需要的基本配置。详细介绍参考：[krb5conf][]

$ cat /var/kerberos/krb5kdc/kdc.conf
    [kdcdefaults]
     v4_mode = nopreauth
     kdc_ports = 88
     kdc_tcp_ports = 88
    
    [realms]
     JAVACHEN.COM = { 
      #master_key_type = aes256-cts
      acl_file = /var/kerberos/krb5kdc/kadm5.acl
      dict_file = /usr/share/dict/words
      admin_keytab = /var/kerberos/krb5kdc/kadm5.keytab
      supported_enctypes =  des3-hmac-sha1:normal arcfour-hmac:normal des-hmac-sha1:normal des-cbc-md5:normal des-cbc-crc:normal des-cbc-crc:v4 des-cbc-crc:afs3
      max_life = 24h
      max_renewable_life = 10d
      default_principal_flags = +renewable, +forwardable
     }

### 说明： ###

*  `JAVACHEN.COM`： 是设定的 realms。名字随意。Kerberos 可以支持多个 realms，会增加复杂度。大小写敏感，一般为了识别使用全部大写。这个 realms 跟机器的 host 没有大关系。
 *  `master_key_type`：和 `supported_enctypes` 默认使用 `aes256-cts`。由于，JAVA 使用 `aes256-cts` 验证方式需要安装额外的 jar 包（后面再做说明）。推荐不使用，并且删除 aes256-cts。
 *  `acl_file`：标注了 admin 的用户权限，需要用户自己创建。文件格式是：`Kerberos_principal permissions [target_principal] [restrictions]`
 *  `supported_enctypes`：支持的校验方式。
 *  `admin_keytab`：KDC 进行校验的 keytab。

> 关于AES-256加密：
> 
> 对于使用 centos5. 6及以上的系统，默认使用 AES-256 来加密的。这就需要集群中的所有节点上安装 [Java Cryptography Extension (JCE) Unlimited Strength Jurisdiction Policy File][Java Cryptography Extension _JCE_ Unlimited Strength Jurisdiction Policy File]。
> 
> 下载的文件是一个 zip 包，解开后，将里面的两个文件放到下面的目录中：`$JAVA_HOME/jre/lib/security`

为了能够不直接访问 KDC 控制台而从 Kerberos [数据库][Link 1]添加和删除主体，请对 Kerberos 管理服务器指示允许哪些主体执行哪些操作。通过编辑文件 /var/lib/kerberos/krb5kdc/kadm5.acl 完成此操作。ACL（访问控制列表）允许您精确指定特权。

$ cat /var/kerberos/krb5kdc/kadm5.acl
      */admin@JAVACHEN.COM *

### 3.2.4 同步配置文件 ###

将 kdc 中的 `/etc/krb5.conf` 拷贝到集群中其他服务器即可。

$ scp /etc/krb5.conf cdh2:/etc/krb5.conf
    $ scp /etc/krb5.conf cdh3:/etc/krb5.conf

请确认集群如果关闭了 selinux。

### 3.2.5 创建数据库 ###

在 cdh1 上运行初始化数据库命令。其中 `-r` 指定对应 realm。

$ kdb5_util create -r JAVACHEN.COM -s

出现 `Loading random data` 的时候另开个终端执行点消耗CPU的命令如 `cat /dev/sda > /dev/urandom` 可以加快随机数采集。

该命令会在 `/var/kerberos/krb5kdc/` 目录下创建 principal 数据库。

如果遇到数据库已经存在的提示，可以把 `/var/kerberos/krb5kdc/` 目录下的 principal 的相关文件都删除掉。默认的数据库名字都是 principal。可以使用 `-d` 指定数据库名字。

### 3.2.6 启动服务 ###

在 cdh1 节点上运行：

$ chkconfig --level 35 krb5kdc on
    $ chkconfig --level 35 kadmin on
    $ service krb5kdc start
    $ service kadmin start

### 3.2.7 创建 kerberos 管理员 ###

关于 kerberos 的管理，可以使用 `kadmin.local` 或 `kadmin`，至于使用哪个，取决于账户和访问权限：

*  如果有访问 kdc 服务器的 root 权限，但是没有 kerberos admin 账户，使用 `kadmin.local`
 *  如果没有访问 kdc 服务器的 root 权限，但是用 kerberos admin 账户，使用 `kadmin`

在 cdh1 上创建远程管理的管理员：

#手动输入两次密码，这里密码为 root
    $ kadmin.local -q "addprinc root/admin"
    
    # 也可以不用手动输入密码
    $ echo -e "root\nroot" | kadmin.local -q "addprinc root/admin"

系统会提示输入密码，密码不能为空，且需妥善保存。

### 3.2.8 测试 kerberos ###

> 以下内容仅仅是为了测试，你可以直接跳到下部分内容。

查看当前的认证用户：

# 查看principals
    $ kadmin: list_principals
    
      # 添加一个新的 principal
      kadmin:  addprinc user1
        WARNING: no policy specified for user1@JAVACHEN.COM; defaulting to no policy
        Enter password for principal "user1@JAVACHEN.COM":
        Re-enter password for principal "user1@JAVACHEN.COM":
        Principal "user1@JAVACHEN.COM" created.
    
      # 删除 principal
      kadmin:  delprinc user1
        Are you sure you want to delete the principal "user1@JAVACHEN.COM"? (yes/no): yes
        Principal "user1@JAVACHEN.COM" deleted.
        Make sure that you have removed this principal from all ACLs before reusing.
    
      kadmin: exit

也可以直接通过下面的命令来执行：

# 提示需要输入密码
    $ kadmin -p root/admin -q "list_principals"
    $ kadmin -p root/admin -q "addprinc user2"
    $ kadmin -p root/admin -q "delprinc user2"
    
    # 不用输入密码
    $ kadmin.local -q "list_principals"
    $ kadmin.local -q "addprinc user2"
    $ kadmin.local -q "delprinc user2"

创建一个测试用户 test，密码设置为 test：

$ echo -e "test\ntest" | kadmin.local -q "addprinc test"

获取 test 用户的 ticket：

# 通过用户名和密码进行登录
    $ kinit test
    Password for test@JAVACHEN.COM:
    
    $ klist  -e
    Ticket cache: FILE:/tmp/krb5cc_0
    Default principal: test@JAVACHEN.COM
    
    Valid starting     Expires            Service principal
    11/07/14 15:29:02  11/08/14 15:29:02  krbtgt/JAVACHEN.COM@JAVACHEN.COM
      renew until 11/17/14 15:29:02, Etype (skey, tkt): AES-128 CTS mode with 96-bit SHA-1 HMAC, AES-128 CTS mode with 96-bit SHA-1 HMAC
    
    
    Kerberos 4 ticket cache: /tmp/tkt0
    klist: You have no tickets cached

销毁该 test 用户的 ticket：

$ kdestroy
    
    $ klist
    klist: No credentials cache found (ticket cache FILE:/tmp/krb5cc_0)
    
    
    Kerberos 4 ticket cache: /tmp/tkt0
    klist: You have no tickets cached

更新 ticket：

$ kinit root/admin
      Password for root/admin@JAVACHEN.COM:
    
    $  klist
      Ticket cache: FILE:/tmp/krb5cc_0
      Default principal: root/admin@JAVACHEN.COM
    
      Valid starting     Expires            Service principal
      11/07/14 15:33:57  11/08/14 15:33:57  krbtgt/JAVACHEN.COM@JAVACHEN.COM
        renew until 11/17/14 15:33:57
    
      Kerberos 4 ticket cache: /tmp/tkt0
      klist: You have no tickets cached
    
    $ kinit -R
    
    $ klist
      Ticket cache: FILE:/tmp/krb5cc_0
      Default principal: root/admin@JAVACHEN.COM
    
      Valid starting     Expires            Service principal
      11/07/14 15:34:05  11/08/14 15:34:05  krbtgt/JAVACHEN.COM@JAVACHEN.COM
        renew until 11/17/14 15:33:57
    
      Kerberos 4 ticket cache: /tmp/tkt0
      klist: You have no tickets cached

抽取密钥并将其储存在本地 keytab 文件 /etc/krb5.keytab 中。这个文件由超级用户拥有，所以您必须是 root 用户才能在 kadmin shell 中执行以下命令：

$ kadmin.local -q "ktadd kadmin/admin"
    
    $ klist -k /etc/krb5.keytab
      Keytab name: FILE:/etc/krb5.keytab
      KVNO Principal
      ---- --------------------------------------------------------------------------
         3 kadmin/admin@LASHOU-INC.COM
         3 kadmin/admin@LASHOU-INC.COM
         3 kadmin/admin@LASHOU-INC.COM
         3 kadmin/admin@LASHOU-INC.COM
         3 kadmin/admin@LASHOU-INC.COM

# 4. HDFS 上配置 kerberos #

## 4.1 创建认证规则 ##

在 Kerberos 安全机制里，一个 principal 就是 realm 里的一个对象，一个 principal 总是和一个密钥（secret key）成对出现的。

这个 principal 的对应物可以是 service，可以是 host，也可以是 user，对于 Kerberos 来说，都没有区别。

Kdc(Key distribute center) 知道所有 principal 的 secret key，但每个 principal 对应的对象只知道自己的那个 secret key 。这也是“共享密钥“的由来。

对于 hadoop，principals 的格式为 `username/fully.qualified.domain.name@YOUR-REALM.COM`。

通过 yum 源安装的 cdh 集群中，NameNode 和 DataNode 是通过 hdfs 启动的，故为集群中每个服务器节点添加两个principals：hdfs、HTTP。

在 KCD server 上（这里是 cdh1）创建 hdfs principal：

kadmin.local -q "addprinc -randkey hdfs/cdh1@JAVACHEN.COM"
    kadmin.local -q "addprinc -randkey hdfs/cdh2@JAVACHEN.COM"
    kadmin.local -q "addprinc -randkey hdfs/cdh3@JAVACHEN.COM"

`-randkey` 标志没有为新 principal 设置密码，而是指示 kadmin 生成一个随机密钥。之所以在这里使用这个标志，是因为此 principal 不需要用户交互。它是计算机的一个服务器帐户。

创建 HTTP principal：

kadmin.local -q "addprinc -randkey HTTP/cdh1@JAVACHEN.COM"
    kadmin.local -q "addprinc -randkey HTTP/cdh2@JAVACHEN.COM"
    kadmin.local -q "addprinc -randkey HTTP/cdh3@JAVACHEN.COM"

创建完成后，查看：

$ kadmin.local -q "listprincs"

## 4.2 创建keytab文件 ##

keytab 是包含 principals 和加密 principal key 的文件。

keytab 文件对于每个 host 是唯一的，因为 key 中包含 hostname。keytab 文件用于不需要人工交互和保存纯文本密码，实现到 kerberos 上验证一个主机上的 principal。

因为服务器上可以访问 keytab 文件即可以以 principal 的身份通过 kerberos 的认证，所以，keytab 文件应该被妥善保存，应该只有少数的用户可以访问

创建包含 hdfs principal 和 host principal 的 hdfs keytab：

xst -norandkey -k hdfs.keytab hdfs/fully.qualified.domain.name host/fully.qualified.domain.name

创建包含 mapred principal 和 host principal 的 mapred keytab：

xst -norandkey -k mapred.keytab mapred/fully.qualified.domain.name host/fully.qualified.domain.name

> 注意：  
> 上面的方法使用了xst的norandkey参数，有些kerberos不支持该参数。  
> 当不支持该参数时有这样的提示：`Principal -norandkey does not exist.`，需要使用下面的方法来生成keytab文件。

在 cdh1 节点，即 KDC server 节点上执行下面命令：

$ cd /var/kerberos/krb5kdc/
    
    $ kadmin.local -q "xst -k hdfs-unmerged.keytab hdfs/cdh1@JAVACHEN.COM"
    $ kadmin.local -q "xst -k hdfs-unmerged.keytab hdfs/cdh2@JAVACHEN.COM"
    $ kadmin.local -q "xst -k hdfs-unmerged.keytab hdfs/cdh3@JAVACHEN.COM"
    
    $ kadmin.local -q "xst -k HTTP.keytab HTTP/cdh1@JAVACHEN.COM"
    $ kadmin.local -q "xst -k HTTP.keytab HTTP/cdh2@JAVACHEN.COM"
    $ kadmin.local -q "xst -k HTTP.keytab HTTP/cdh3@JAVACHEN.COM"

这样，就会在 `/var/kerberos/krb5kdc/` 目录下生成 `hdfs-unmerged.keytab` 和 `HTTP.keytab` 两个文件，接下来使用 `ktutil` 合并者两个文件为 `hdfs.keytab`。

$ cd /var/kerberos/krb5kdc/
    
    $ ktutil
    ktutil: rkt hdfs-unmerged.keytab
    ktutil: rkt HTTP.keytab
    ktutil: wkt hdfs.keytab

使用 klist 显示 hdfs.keytab 文件列表：

$ klist -ket  hdfs.keytab
    Keytab name: FILE:hdfs.keytab
    KVNO Timestamp         Principal
    ---- ----------------- --------------------------------------------------------
       2 11/13/14 10:40:18 hdfs/cdh1@JAVACHEN.COM (des3-cbc-sha1)
       2 11/13/14 10:40:18 hdfs/cdh1@JAVACHEN.COM (arcfour-hmac)
       2 11/13/14 10:40:18 hdfs/cdh1@JAVACHEN.COM (des-hmac-sha1)
       2 11/13/14 10:40:18 hdfs/cdh1@JAVACHEN.COM (des-cbc-md5)
       4 11/13/14 10:40:18 hdfs/cdh2@JAVACHEN.COM (des3-cbc-sha1)
       4 11/13/14 10:40:18 hdfs/cdh2@JAVACHEN.COM (arcfour-hmac)
       4 11/13/14 10:40:18 hdfs/cdh2@JAVACHEN.COM (des-hmac-sha1)
       4 11/13/14 10:40:18 hdfs/cdh2@JAVACHEN.COM (des-cbc-md5)
       4 11/13/14 10:40:18 hdfs/cdh3@JAVACHEN.COM (des3-cbc-sha1)
       4 11/13/14 10:40:18 hdfs/cdh3@JAVACHEN.COM (arcfour-hmac)
       4 11/13/14 10:40:18 hdfs/cdh3@JAVACHEN.COM (des-hmac-sha1)
       4 11/13/14 10:40:18 hdfs/cdh3@JAVACHEN.COM (des-cbc-md5)
       3 11/13/14 10:40:18 HTTP/cdh1@JAVACHEN.COM (des3-cbc-sha1)
       3 11/13/14 10:40:18 HTTP/cdh1@JAVACHEN.COM (arcfour-hmac)
       3 11/13/14 10:40:18 HTTP/cdh1@JAVACHEN.COM (des-hmac-sha1)
       3 11/13/14 10:40:18 HTTP/cdh1@JAVACHEN.COM (des-cbc-md5)
       3 11/13/14 10:40:18 HTTP/cdh2@JAVACHEN.COM (des3-cbc-sha1)
       3 11/13/14 10:40:18 HTTP/cdh2@JAVACHEN.COM (arcfour-hmac)
       3 11/13/14 10:40:18 HTTP/cdh2@JAVACHEN.COM (des-hmac-sha1)
       3 11/13/14 10:40:18 HTTP/cdh2@JAVACHEN.COM (des-cbc-md5)
       3 11/13/14 10:40:18 HTTP/cdh3@JAVACHEN.COM (des3-cbc-sha1)
       3 11/13/14 10:40:18 HTTP/cdh3@JAVACHEN.COM (arcfour-hmac)
       3 11/13/14 10:40:18 HTTP/cdh3@JAVACHEN.COM (des-hmac-sha1)
       3 11/13/14 10:40:18 HTTP/cdh3@JAVACHEN.COM (des-cbc-md5)

验证是否正确合并了key，使用合并后的keytab，分别使用hdfs和host principals来获取证书。

$ kinit -k -t hdfs.keytab hdfs/cdh1@JAVACHEN.COM
    $ kinit -k -t hdfs.keytab HTTP/cdh1@JAVACHEN.COM

如果出现错误：`kinit: Key table entry not found while getting initial credentials`，  
则上面的合并有问题，重新执行前面的操作。

## 4.3 部署kerberos keytab文件 ##

拷贝 hdfs.keytab 文件到其他节点的 /etc/hadoop/conf 目录

$ cd /var/kerberos/krb5kdc/
    
    $ scp hdfs.keytab cdh1:/etc/hadoop/conf
    $ scp hdfs.keytab cdh2:/etc/hadoop/conf
    $ scp hdfs.keytab cdh3:/etc/hadoop/conf

并设置权限，分别在 cdh1、cdh2、cdh3 上执行：

$ ssh cdh1 "chown hdfs:hadoop /etc/hadoop/conf/hdfs.keytab ;chmod 400 /etc/hadoop/conf/hdfs.keytab"
    $ ssh cdh2 "chown hdfs:hadoop /etc/hadoop/conf/hdfs.keytab ;chmod 400 /etc/hadoop/conf/hdfs.keytab"
    $ ssh cdh3 "chown hdfs:hadoop /etc/hadoop/conf/hdfs.keytab ;chmod 400 /etc/hadoop/conf/hdfs.keytab"

由于 keytab 相当于有了永久凭证，不需要提供密码(如果修改kdc中的principal的密码，则该keytab就会失效)，所以其他用户如果对该文件有读权限，就可以冒充 keytab 中指定的用户身份访问 hadoop，所以 keytab 文件需要确保只对 owner 有读权限(0400)

## 4.4 修改 hdfs 配置文件 ##

先停止集群：

$ for x in `cd /etc/init.d ; ls hive-*` ; do sudo service $x stop ; done
    $ for x in `cd /etc/init.d ; ls impala-*` ; do sudo service $x stop ; done
    $ for x in `cd /etc/init.d ; ls hadoop-*` ; do sudo service $x stop ; done
    $ for x in `cd /etc/init.d ; ls zookeeper-*` ; do sudo service $x stop ; done

在集群中所有节点的 core-site.xml 文件中添加下面的配置:

<property>
      <name>hadoop.security.authentication</name>
      <value>kerberos</value>
    </property>
    
    <property>
      <name>hadoop.security.authorization</name>
      <value>true</value>
    </property>

在集群中所有节点的 hdfs-site.xml 文件中添加下面的配置：

<property>
      <name>dfs.block.access.token.enable</name>
      <value>true</value>
    </property>
    <property>  
      <name>dfs.datanode.data.dir.perm</name>  
      <value>700</value>  
    </property>
    <property>
      <name>dfs.namenode.keytab.file</name>
      <value>/etc/hadoop/conf/hdfs.keytab</value>
    </property>
    <property>
      <name>dfs.namenode.kerberos.principal</name>
      <value>hdfs/_HOST@JAVACHEN.COM</value>
    </property>
    <property>
      <name>dfs.namenode.kerberos.https.principal</name>
      <value>HTTP/_HOST@JAVACHEN.COM</value>
    </property>
    <property>
      <name>dfs.datanode.address</name>
      <value>0.0.0.0:1004</value>
    </property>
    <property>
      <name>dfs.datanode.http.address</name>
      <value>0.0.0.0:1006</value>
    </property>
    <property>
      <name>dfs.datanode.keytab.file</name>
      <value>/etc/hadoop/conf/hdfs.keytab</value>
    </property>
    <property>
      <name>dfs.datanode.kerberos.principal</name>
      <value>hdfs/_HOST@JAVACHEN.COM</value>
    </property>
    <property>
      <name>dfs.datanode.kerberos.https.principal</name>
      <value>HTTP/_HOST@JAVACHEN.COM</value>
    </property>

如果想开启 SSL，请添加（本文不对这部分做说明）：

<property>
      <name>dfs.http.policy</name>
      <value>HTTPS_ONLY</value>
    </property>

如果 HDFS 配置了 QJM HA，则需要添加（另外，你还要在 zookeeper 上配置 kerberos）：

<property>
      <name>dfs.journalnode.keytab.file</name>
      <value>/etc/hadoop/conf/hdfs.keytab</value>
    </property>
    <property>
      <name>dfs.journalnode.kerberos.principal</name>
      <value>hdfs/_HOST@JAVACHEN.COM</value>
    </property>
    <property>
      <name>dfs.journalnode.kerberos.internal.spnego.principal</name>
      <value>HTTP/_HOST@JAVACHEN.COM</value>
    </property>

如果配置了 WebHDFS，则添加：

<property>
      <name>dfs.webhdfs.enabled</name>
      <value>true</value>
    </property>
    
    <property>
      <name>dfs.web.authentication.kerberos.principal</name>
      <value>HTTP/_HOST@JAVACHEN.COM</value>
    </property>
    
    <property>
      <name>dfs.web.authentication.kerberos.keytab</name>
      <value>/etc/hadoop/conf/hdfs.keytab</value>
    </property>

配置中有几点要注意的：

*  1. `dfs.datanode.address`表示 data transceiver RPC server 所绑定的 hostname 或 IP 地址，如果开启 security，端口号必须小于 `1024`(privileged port)，否则的话启动 datanode 时候会报 `Cannot start secure cluster without privileged resources` 错误
 *  2. principal 中的 instance 部分可以使用 `_HOST` 标记，系统会自动替换它为全称域名
 *  3. 如果开启了 security, hadoop 会对 hdfs block data(由 `dfs.data.dir` 指定)做 permission check，方式用户的代码不是调用hdfs api而是直接本地读block data，这样就绕过了kerberos和文件权限验证，管理员可以通过设置 `dfs.datanode.data.dir.perm` 来修改 datanode 文件权限，这里我们设置为700

## 4.5 检查集群上的 HDFS 和本地文件的权限 ##

请参考 [Verify User Accounts and Groups in CDH 5 Due to Security][] 或者 [Hadoop in Secure Mode][]。

## 4.6 启动 NameNode ##

启动之前，请确认 JCE jar 已经替换，请参考前面的说明。

在每个节点上获取 root 用户的 ticket，这里 root 为之前创建的 root/admin 的密码。

$ ssh cdh1 "echo root|kinit root/admin"
    $ ssh cdh1 "echo root|kinit root/admin"
    $ ssh cdh1 "echo root|kinit root/admin"

获取 cdh1的 ticket：

$ kinit -k -t /etc/hadoop/conf/hdfs.keytab hdfs/cdh1@JAVACHEN.COM

如果出现下面异常 `kinit: Password incorrect while getting initial credentials`，则重新导出 keytab 再试试。

然后启动服务，观察日志：

$ /etc/init.d/hadoop-hdfs-namenode start

验证 NameNode 是否启动，一是打开 web 界面查看启动状态，一是运行下面命令查看 hdfs：

$ hadoop fs -ls /
    Found 4 items
    drwxrwxrwx   - yarn hadoop          0 2014-06-26 15:24 /logroot
    drwxrwxrwt   - hdfs hadoop          0 2014-11-04 10:44 /tmp
    drwxr-xr-x   - hdfs hadoop          0 2014-08-10 10:53 /user
    drwxr-xr-x   - hdfs hadoop          0 2013-05-20 22:52 /var

如果在你的凭据缓存中没有有效的 kerberos ticket，执行上面命令将会失败，将会出现下面的错误：

14/11/04 12:08:12 WARN ipc.Client: Exception encountered while connecting to the server : javax.security.sasl.SaslException:
    GSS initiate failed [Caused by GS***ception: No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)]
    Bad connection to FS. command aborted. exception: Call to cdh1/192.168.56.121:8020 failed on local exception: java.io.IOException:
    javax.security.sasl.SaslException: GSS initiate failed [Caused by GS***ception: No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)]

## 4.6 启动DataNode ##

DataNode 需要通过 JSVC 启动。首先检查是否安装了 JSVC 命令，然后配置环境变量。

在 cdh1 节点查看是否安装了 JSVC：

$ ls /usr/lib/bigtop-utils/
    bigtop-detect-classpath  bigtop-detect-javahome  bigtop-detect-javalibs  jsvc

然后编辑 `/etc/default/hadoop-hdfs-datanode`，取消对下面的注释并添加一行设置 `JSVC_HOME`，修改如下：

export HADOOP_SECURE_DN_USER=hdfs
    export HADOOP_SECURE_DN_PID_DIR=/var/run/hadoop-hdfs
    export HADOOP_SECURE_DN_LOG_DIR=/var/log/hadoop-hdfs
    
    export JSVC_HOME=/usr/lib/bigtop-utils

将该文件同步到其他节点：

$ scp /etc/default/hadoop-hdfs-datanode cdh2:/etc/default/hadoop-hdfs-datanode
    $ scp /etc/default/hadoop-hdfs-datanode cdh3:/etc/default/hadoop-hdfs-datanode

分别在 cdh2、cdh3 获取 ticket 然后启动服务：

#root 为 root/admin 的密码
    $ ssh cdh1 "kinit -k -t /etc/hadoop/conf/hdfs.keytab hdfs/cdh1@JAVACHEN.COM; service hadoop-hdfs-datanode start"
    $ ssh cdh2 "kinit -k -t /etc/hadoop/conf/hdfs.keytab hdfs/cdh2@JAVACHEN.COM; service hadoop-hdfs-datanode start"
    $ ssh cdh3 "kinit -k -t /etc/hadoop/conf/hdfs.keytab hdfs/cdh3@JAVACHEN.COM; service hadoop-hdfs-datanode start"

观看 cdh1 上 NameNode 日志，出现下面日志表示 DataNode 启动成功：

14/11/04 17:21:41 INFO security.UserGroupInformation:
    Login successful for user hdfs/cdh2@JAVACHEN.COM using keytab file /etc/hadoop/conf/hdfs.keytab

# 5. 其他 #

## 5.1 批量生成 keytab ##

为了方便批量生成 keytab，写了一个脚本，如下：

#!/bin/bash
    
    DNS=LASHOU.COM
    hostname=`hostname -i`
    
    yum install krb5-server krb5-libs krb5-auth-dialog krb5-workstation  -y
    rm -rf /var/kerberos/krb5kdc/*.keytab /var/kerberos/krb5kdc/prin*
    
    kdb5_util create -r LASHOU.COM -s
    
    chkconfig --level 35 krb5kdc on
    chkconfig --level 35 kadmin on
    service krb5kdc restart
    service kadmin restart
    
    echo -e "root\nroot" | kadmin.local -q "addprinc root/admin"
    
    for host in  `cat /etc/hosts|grep 10|grep -v $hostname|awk '{print $2}'` ;do
      for user in hdfs hive; do
        kadmin.local -q "addprinc -randkey $user/$host@$DNS"
        kadmin.local -q "xst -k /var/kerberos/krb5kdc/$user-un.keytab $user/$host@$DNS"
      done
      for user in HTTP lashou yarn mapred impala zookeeper sentry llama zkcli ; do
        kadmin.local -q "addprinc -randkey $user/$host@$DNS"
        kadmin.local -q "xst -k /var/kerberos/krb5kdc/$user.keytab $user/$host@$DNS"
      done
    done
    
    cd /var/kerberos/krb5kdc/
    echo -e "rkt lashou.keytab\nrkt hdfs-un.keytab\nrkt HTTP.keytab\nwkt hdfs.keytab" | ktutil
    echo -e "rkt lashou.keytab\nrkt hive-un.keytab\nwkt hive.keytab" | ktutil
    
    #kerberos 重新初始化之后，还需要添加下面代码用于集成 ldap
    
    kadmin.local -q "addprinc ldapadmin@JAVACHEN.COM"
    kadmin.local -q "addprinc -randkey ldap/cdh1@JAVACHEN.COM"
    kadmin.local -q "ktadd -k /etc/openldap/ldap.keytab ldap/cdh1@JAVACHEN.COM"
    
    #如果安装了 openldap ，重启 slapd
    /etc/init.d/slapd restart
    
    #测试 ldap 是否可以正常使用
    ldapsearch -x -b 'dc=javachen,dc=com'

以下脚本用于在每个客户端上获得 root/admin 的 ticket，其密码为 root：

#!/bin/sh
    
    for node in 56.121 56.122 56.123 ;do
      echo "========10.168.$node========"
      ssh 192.168.$node 'echo root|kinit root/admin'
    done

## 5.2 管理集群脚本 ##

另外，为了方便管理集群，在 cdh1 上创建一个 shell 脚本用于批量管理集群，脚本如下（保存为 `manager_cluster.sh`）：

#!/bin/bash
    
    role=$1
    command=$2
    
    dir=$role
    
    if [ X"$role" == X"hdfs" ];then
      dir=hadoop
    fi
    
    if [ X"$role" == X"yarn" ];then
            dir=hadoop
    fi
    
    if [ X"$role" == X"mapred" ];then
            dir=hadoop
    fi
    
    for node in 56.121 56.122 56.123 ;do
      echo "========192.168.$node========"
      ssh 192.168.$node '
     #先获取 root/admin 的凭证
     echo root|kinit root/admin
     host=`hostname -f| tr "[:upper:]" "[:lower:]"`
     path="'$role'/$host"
     #echo $path
     principal=`klist -k /etc/'$dir'/conf/'$role'.keytab | grep $path | head -n1 | cut -d " " -f5`
     #echo $principal
     if [ X"$principal" == X ]; then
     principal=`klist -k /etc/'$dir'/conf/'$role'.keytab | grep $path | head -n1 | cut -d " " -f4`
     if [ X"$principal" == X ]; then
     echo "Failed to get hdfs Kerberos principal"
     exit 1
     fi
     fi
     kinit -r 24l -kt /etc/'$dir'/conf/'$role'.keytab $principal
     if [ $? -ne 0 ]; then
     echo "Failed to login as hdfs by kinit command"
     exit 1
     fi
     kinit -R
     for src in `ls /etc/init.d|grep '$role'`;do service $src '$command'; done
     '
    done

使用方法为：

$ sh manager_cluster.sh hdfs start #启动 hdfs 用户管理的服务
    $ sh manager_cluster.sh yarn start #启动 yarn 用户管理的服务
    $ sh manager_cluster.sh mapred start #启动 mapred 用户管理的服务
    
    $ sh manager_cluster.sh hdfs status # 在每个节点上获取 hdfs 的 ticket，然后可以执行其他操作，如批量启动 datanode 等等

## 5.3 使用 java 代码测试 kerberos ##

在 hdfs 中集成 kerberos 之前，可以先使用下面代码(Krb.[Java][])进行测试：

import com.sun.security.auth.module.Krb5LoginModule;
    
    import javax.security.auth.Subject;
    import java.io.File;
    import java.io.FileInputStream;
    import java.io.InputStream;
    import java.util.HashMap;
    import java.util.Map;
    import java.util.Properties;
    
    public class Krb { 
        private void loginImpl(final String propertiesFileName) throws Exception { 
            System.out.println("NB: system property to specify the krb5 config: [java.security.krb5.conf]");
            //System.setProperty("java.security.krb5.conf", "/etc/krb5.conf");
    
            System.out.println(System.getProperty("java.version"));
    
            System.setProperty("sun.security.krb5.debug", "true");
    
            final Subject subject = new Subject();
    
            final Krb5LoginModule krb5LoginModule = new Krb5LoginModule();
            final Map<String,String> optionMap = new HashMap<String,String>();
    
            if (propertiesFileName == null) { 
                //optionMap.put("ticketCache", "/tmp/krb5cc_1000");
                optionMap.put("keyTab", "/etc/krb5.keytab");
                optionMap.put("principal", "foo"); // default realm
    
                optionMap.put("doNotPrompt", "true");
                optionMap.put("refreshKrb5Config", "true");
                optionMap.put("useTicketCache", "true");
                optionMap.put("renewTGT", "true");
                optionMap.put("useKeyTab", "true");
                optionMap.put("storeKey", "true");
                optionMap.put("isInitiator", "true");
            } else { 
                File f = new File(propertiesFileName);
                System.out.println("======= loading property file ["+f.getAbsolutePath()+"]");
                Properties p = new Properties();
                InputStream is = new FileInputStream(f);
                try { 
                    p.load(is);
                } finally { 
                    is.close();
                }
                optionMap.putAll((Map)p);
            }
            optionMap.put("debug", "true"); // switch on debug of the Java implementation
    
            krb5LoginModule.initialize(subject, null, new HashMap<String,String>(), optionMap);
    
            boolean loginOk = krb5LoginModule.login();
            System.out.println("======= login: " + loginOk);
    
            boolean commitOk = krb5LoginModule.commit();
            System.out.println("======= commit: " + commitOk);
            System.out.println("======= Subject: " + subject);
        }
    
        public static void main(String[] args) throws Exception { 
            System.out.println("A property file with the login context can be specified as the 1st and the only paramater.");
            final Krb krb = new Krb();
            krb.loginImpl(args.length == 0 ? null : args[0]);
        }
    }

创建一个配置文件krb5.properties：

keyTab=/etc/hadoop/conf/hdfs.keytab
    principal=hdfs/cdh1@JAVACHEN.COM
    
    doNotPrompt=true
    refreshKrb5Config=true
    useTicketCache=true
    renewTGT=true
    useKeyTab=true
    storeKey=true
    isInitiator=true

编译 java 代码并运行：

# 先销毁当前 ticket
    
    $ kdestroy
    
    $ javac Krb.java
    
    $ java -cp . Krb ./krb5.properties

# 6. 总结 #

本文介绍了 CDH Hadoop 集成 kerberos 认证的过程，其中主要需要注意以下几点：

*  1. 配置 hosts，`hostname` 请使用小写。
 *  2. 确保 kerberos 客户端和服务端连通
 *  3. 替换 JRE 自带的 JCE jar 包
 *  4. 为 DataNode 设置运行用户并配置 `JSVC_HOME`
 *  5. 启动服务前，先获取 ticket 再运行相关命令

接下来就是配置 Hadoop 集群中其他服务以集成 kerberos 认证，由于篇幅原因，后面再做说明。

# 7. 参考文章 #

*  [Hadoop的kerberos的实践部署][Hadoop_kerberos]
 *  [hadoop 添加kerberos认证][hadoop _kerberos]
 *  [YARN & HDFS2 安装和配置Kerberos][YARN _ HDFS2 _Kerberos]
 *  [Kerberos basics and installing a KDC][]
 *  [Hadoop, Hbase, Zookeeper安全实践][Hadoop_ Hbase_ Zookeeper]

[Hadoop]: http://lib.csdn.net/base/20
[Hadoop_kerberos]: https://github.com/zouhc/MyHadoop/blob/master/doc/Hadoop%E7%9A%84kerberos%E7%9A%84%E5%AE%9E%E8%B7%B5%E9%83%A8%E7%BD%B2.md
[Hadoop 1]: http://dongxicheng.org/mapreduce/hadoop-security/
[yum_CDH Hadoop]: http://blog.javachen.com/2013/04/06/install-cloudera-cdh-by-yum/
[krb5conf]: http://web.mit.edu/~kerberos/krb5-devel/doc/admin/conf_files/krb5_conf.html
[Java Cryptography Extension _JCE_ Unlimited Strength Jurisdiction Policy File]: http://www.oracle.com/technetwork/java/javase/downloads/jce-6-download-429243.html
[Link 1]: http://lib.csdn.net/base/14
[Verify User Accounts and Groups in CDH 5 Due to Security]: http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_sg_users_groups_verify.html
[Hadoop in Secure Mode]: http://hadoop.apache.org/docs/r2.5.0/hadoop-project-dist/hadoop-common/SecureMode.html
[Java]: http://lib.csdn.net/base/17
[hadoop _kerberos]: http://blog.chinaunix.net/uid-1838361-id-3243243.html
[YARN _ HDFS2 _Kerberos]: http://blog.csdn.net/lalaguozhe/article/details/11570009
[Kerberos basics and installing a KDC]: http://blog.godatadriven.com/kerberos_kdc_install.html
[Hadoop_ Hbase_ Zookeeper]: http://www.wuzesheng.com/?p=2345