搭建TDH商业大数据平台社区版（附其他主流商业大数据平台下载汇总）

野性酷女 2022-05-19 12:05 552阅读 0赞

> [大数据核心原理与实践专栏][Link 1]

# 说明： #

TDH社区版还挺好用的，无限量续签许可证，如果大家只是想玩玩儿大数据平台，或者刚入行大数据想练手，那么TDH社区版就够用了，避免了你前期安装一系列Hadoop组件的麻烦。

想当年，笔者不知道有一站式大数据平台这玩意儿，还是从配置虚拟机到一个一个开源组件安装测试、到最终协调起来工作一步步走来。现在想想真是耗费时间，这也是为什么想了很久还是写下了这篇博文，希望你们了解大数据基本组件配置文件后，不用自己亲手配置，直接用上商业大数据平台，避免做无用功。

> [点击下载TDH社区版][TDH]

# 环境： #

笔者安装的实验环境如下：

*  3台虚拟机即3个节点（至少3台），系统CentOS 7.2
 *  每个节点内存20G
 *  文件系统要求（分区和新磁盘均可，如docker分区可以是sdc的一个分区sdc2组成，也可以用新的磁盘sdd来搞）：

<table style="width:500px;"> 
 <tbody> 
  <tr> 
   <td>文件系统</td> 
   <td>大小</td> 
   <td>挂载目录</td> 
   <td>文件系统类型</td> 
  </tr> 
  <tr> 
   <td>/dev/sda1<strong><span style="color:#f33b45;"> (必选)</span></strong></td> 
   <td>50G</td> 
   <td>/</td> 
   <td>ext4</td> 
  </tr> 
  <tr> 
   <td>/dev/sda2 (可选)</td> 
   <td>32G</td> 
   <td>&nbsp;</td> 
   <td>swap</td> 
  </tr> 
  <tr> 
   <td>/dev/sda3 <span style="color:#f33b45;"><strong>(必选)</strong></span></td> 
   <td>50G</td> 
   <td>/var/log</td> 
   <td>ext4</td> 
  </tr> 
  <tr> 
   <td>/dev/sdb1 <span style="color:#f33b45;"><strong>(必选)</strong></span></td> 
   <td>50G</td> 
   <td>/mnt/disk1</td> 
   <td>ext4</td> 
  </tr> 
  <tr> 
   <td>/dev/sdc1 (可选)</td> 
   <td>50G</td> 
   <td>/mnt/disk2</td> 
   <td>ext4</td> 
  </tr> 
  <tr> 
   <td>/dev/sdd&nbsp; &nbsp;(必选)</td> 
   <td> <p>50G</p> </td> 
   <td>/var/lib/docker</td> 
   <td>ext4</td> 
  </tr> 
 </tbody> 
</table>

总之要求不高，1~2块数据盘、日志盘、docker分区。三样齐全即可！

# 前期准备 #

## 1、时间同步： ##

因为后期涉及许可证过期问题，故推荐安装开始先将集群时间同步，同步方式如下：

> [利用ntp服务同步时间（史上最简单）][ntp]

如果没外网，那就需要自己设置linux时间，并将时间写入硬件CMOS防止重启失效。如下：

date -s 07/25/2018
    Date -s 20:13:14
    # 写入硬件，防止重启时间恢复
    clock -w

# #

## 2、配置docker分区 ##

直接写个shell脚本，在每台节点上运行即可，**注意要在每一台上都运行此脚本，**因为每一台节点上都是要做Docker容器虚拟化操作。

#!/bin/bash
    
    # 格式化
    mkfs.xfs -f -n ftype=1 /dev/sdd
    
    # 创建docker目录
    rm -rf /var/lib/docker
    mkdir -p /var/lib/docker
    
    # 挂载
    mount /dev/sdd /var/lib/docker
    
    # 写入fstab，开机自动挂载
    echo "/dev/sdd /var/lib/docker xfs defaults 0 0" >> /etc/fstab
    
    # 输出文件系统
    df -h

## 3、修改 /etc/hosts文件 ##

因为安装过程中需要同其他节点通信，故我们需要配置hosts。具体做法，在每一台节点上添加：主机名-ip地址配置信息。此过程就不详细叙述了，如下：（注意前几行不要删）

![70][]

# 正式安装  #

## 1、准备安装介质 ##

*  TDH-Basic-Component-Transwarp-ce-1.1.0-final.tar.gz
 *  CentOS-7-x86\_64-DVD-1511.iso（用于后续配置repo源）

## 2、安装 ##

解压执行安装命令：

tar -zxvf TDH-Basic-Component-Transwarp-ce-1.1.0-final.tar.gz
    cd transwarp
    ./install

## 3、 可视化安装 ##

之后会提示让你访问 主节点ip + 8179端口，此界面即为后续可视化界面。

[I 05:20:45:686] It is highly recommended that all hosts in the cluster can be visited by FQDN/hostname from the browser. To achieve that, configure proper DNS and/or Hosts file on your browser machine 
    [I 05:20:45:686] 
    
            Copy/paste this URL into your browser when you connect for the first time:
                    http://172.16.8.1:8179/

![70 1][]

同意许可协议、检查环境、提取文件、配置网络按默认的走就行。

在配置RPM源的时候，选择我们之前准备好的CentOS7 1511版本的iso文件即可。

![70 2][]

之后等几分钟就会显示集群manager界面安装完成。下面我们需要访问8180端口（172.16.8.1:8180）来配置集群，用户名密码均是admin。

![70 3][]

![70 4][]

登进去同意协议、取名字过程默认即可，下面进行配置hosts操作，我们之前已经配过，直接按下图所示配置即可。

![70 5][]

在添加节点环节将我们的三个节点添加进来，如果后续有新节点加入，我们可以再后续环节继续添加。添加完成后，此3节点即被集群管理。

![70 6][]

接下来，配置添加的每一台节点的登录信息。便于后续通过SSH免密方式在节点之间登录。

![70 7][]

后续步骤默认即可，点击下一步，会显示正在安装，等个大概几分钟就会显示节点已成功添加到集群中，并以做好安装配置。

![70 8][]

接着安装我们需要的组件即可，如果我们这个时候少装或漏装组件，我们在后面也可自行添加。

![70 9][]

下一步便会开始对每个组件进行安装操作了，，整个过程大概15~20分钟（这么短时间部署好一个集群，是不是感觉很6），安装完成后会显示如下：

![70 10][]

Congratulation！！！

![70 11][]

# 许可证申请 #

感觉许可证申请挺简单，而且好像发现它不会限定你申请的次数。一次申请就会续命3个月。更换许可证也很容易，集群无需重置。

> [申请许可证地址][Link 2]

如下，申请个账号登进去：

![70 12][]

点击申请许可证：

![70 13][]

我们在集群管理页面的许可证页面找到server key，记下来。

![70 14][]

![70 15][]

填入申请许可证的页面即可为你当前的集群许可证：

![70 16][]

之后下载导入许可证即可：

![70 17][]

好了，整个TDH大数据平台安装流程大致如上，可以感觉出来，整体流程还是挺简单的。

# 其他大数据平台安装资料 #

当然，萝卜白菜各有所爱，这里笔者也给大家推荐下其他大数据平台相关下载及文档。

### **1、Transwarp data hub（TDH大数据平台）** ###

下载地址：http://www.transwarp.cn/product/tdh\_ce

文档地址：https://www.warpcloud.cn/\#/documents-support/docs/products

安装参考：https://blog.csdn.net/Post\_Yuan/article/details/78421853

### 2、Cloudera data hub（CDH大数据平台） ###

下载地址：https://www.cloudera.com/downloads/cdh/5-15-0.html

官方文档地址（只有英文）：https://www.cloudera.com/documentation.html

安装博客文章：https://www.cnblogs.com/CaptainLin/p/7089766.html

### 3、华为FushionInsight大数据平台 ###

下载地址：http://support.huawei.com/enterprisesoftware/zh/cloud-computing/fusioninsight-hd-pid-21110924/software/23049357

官方文档：http://support.huawei.com/enterprise/zh/cloud-computing/fusioninsight-hd-pid-21110924/

安装参考：https://blog.csdn.net/post\_yuan/article/details/79051538

[Link 1]: https://blog.csdn.net/column/details/24979.html
[TDH]: http://www.transwarp.cn/transwarp/product-TDHCommunity.html
[ntp]: https://blog.csdn.net/whdxjbw/article/details/80805734
[70]: /images/20220519/13f69137680f4510b71b4467e48f5dac.png
[70 1]: /images/20220519/32d2fae5c9dc4caa9df430bf9afb7fc9.png
[70 2]: /images/20220519/3e1e7f58b2a74f5b825536654f8bb28e.png
[70 3]: /images/20220519/2c863914dd464c628ffca1a065c457d6.png
[70 4]: /images/20220519/4bcbcc7772e042e3b25a7da08919eb65.png
[70 5]: /images/20220519/f92a79c148ef4ec484071b5b3dda672e.png
[70 6]: /images/20220519/39afd16ffa5f4eb8bbac7fc1cb7f7642.png
[70 7]: /images/20220519/92f34df964c24ab9ba9cc5319f2beb05.png
[70 8]: /images/20220519/591f5cfbbd694630aa62c457bc02a59e.png
[70 9]: /images/20220519/dfc0cf6653dc4793b97d3ea2072d8149.png
[70 10]: /images/20220519/c7d5843983ad44f1bd24eb5652ca262a.png
[70 11]: /images/20220519/665262d60da7405097cb1d60b20abc95.png
[Link 2]: https://snowflake.transwarp.io/login
[70 12]: /images/20220519/f2f72fd870354cd9aabfd044c5c3190a.png
[70 13]: /images/20220519/80e22cab257a48159661a984b905d009.png
[70 14]: /images/20220519/c4834f26905543ed845ee9ba0fb8beb9.png
[70 15]: /images/20220519/a276bf71db9f47c5a8ccb867b2a37215.png
[70 16]: /images/20220519/572aa5c55fa2407f9b55f2c1ea2f1939.png
[70 17]: /images/20220519/67ac77e65190478f8c3ee7a0dc114e45.png