Cloudera Labs中的Phoenix

r囧r小猫 2022-02-05 09:01 92阅读 0赞

**1.导读**

--------------------

Cloudera Labs在2016-06-27宣布打包了Apache Phoenix项目，版本为4.7.0，并基于CDH5.7.0。安装依旧是大家熟悉的Parcel方式，下载地址为：[http://archive.cloudera.com/cloudera-labs/phoenix/parcels/1.3/][http_archive.cloudera.com_cloudera-labs_phoenix_parcels_1.3]

Fayson这两天亲测了一下，CDH5.12.1也能勉强一用，想知道具体该怎样安装和使用，欢迎关注本公众号明天的文章。

Cloudera Labs说白了就是有群人在“实验室”会研究或者玩玩一些有趣的比如其他Apache的项目，虽然会偶尔打包一些项目，但是官方是不Support的。另外Cloudera Labs也不会保证从旧的Phoenix版本升级到4.7的兼容性。

**2.概述**

--------------------

ApachePhoenix是Apache [HBase][]上一个高效的SQL引擎，也挺火的。很多公司都在使用它，比如Salesforce，它开源了这个项目，并将该项目贡献到社区。现在也已经是顶级项目了。

ClouderaLabs在2015-05-06宣布打包Phoenix并集成到CDH平台，本文主要为了描述这几个问题：Phoenix可以做什么？为什么大家想要使用它？和已有的SQL工具相比如何？它的一些优势可以取代现有的一些工具吗？

当然我们首先会先介绍一下Phoenix以及它的一些独特的特性，另外会给出一些它的使用场景以及和其它SQL工具的对比。

**3.Apache Phoenix是什么**

--------------------

首先Phoenix是HBase之上的SQL工具，至于HBase是什么，我就不介绍了，你若不懂，就不需要往下继续看了。Phoenix旨在通过标准的SQL语法来简化HBase的使用，并可以使用标准的JDBC连接HBase，而不是通过HBase的Java客户端APIs。它可以让你执行所有的CRUD和DDL操作，比如创建一张表，插入数据以及查询数据。SQL和JDBC可以大大减少用户代码的开发，当然它也提供一些性能优化的手段，通过SQL和JDBC，你可以更方便的将HBase集成到你现有的系统或者工具。

当Phoenix接收到SQL查询后，它会在本地编译成HBase的API，然后推到集群进行分布式的查询或计算。它自动创建了一个元数据库用来存储HBase的表的元数据信息。因为Phoenix是直接调用的HBase的API，coprocessors和自定义的filters，所以对于大量小查询可以实现毫秒级返回，千万级别的数据实现秒级返回。

**4.使用场景**

--------------------

Phoenix非常适合HBase的随机访问，它的二级索引特性同时可以让你实现非主键查询的快速返回，而不需要进行全表扫描。它可以让你像传统数据库表的方式创建和管理HBase中的表，同时Phoenix也支持复合主键。

Phoenix可以给Rowkey加盐，从而避免因为简单递增的Rowkey引起的RegionServer热点问题。通过指定不同的租户连接实现数据访问的隔离，从而实现多租户，租户只能访问属于他的数据。

虽然Phoenix有这么多优势，但是它依旧无法替代RDBMS。比如它还有以下限制：

*  Phoenix不支持跨行的事务
 *  查询优化和join机制比大多数RDBMS要简陋
 *  二级索引是通过索引表实现的，主表和索引表的同步会存在问题，虽然只是在一段很短的时间内。所以索引无法完全满足ACID
 *  多租户功能比较简单

**5.与Hive/Impala的比较**

--------------------

Hive/Impala也可以作为HBase之上的SQL工具。包括Phoenix这3个工具在很多功能上都有一些重叠，比如它们都提供SQL执行以及JDBC驱动

不像Impala和Hive，Phoenix与HBase结合更加紧密，从而可以更好的利用HBase的一些特性，比如coprocessors和skip scans。

*  Phoenix的目标是在HBase之上提供一个高效的类[关系型数据库][Link 1]的工具，定位为低延时的查询应用。Impala则主要是基于HDFS的一些主流文件格式如文本或Parquet提供探索式的交互式查询。Hive类似于数据仓库，定位为需要长时间运行的批作业。
 *  Phoenix很适合需要在HBase之上使用SQL实现CRUD，Impala则适合Ad-hoc的分析类工作负载，Hive则适合批处理如ETL。
 *  Phoenix非常轻量级，因为它不需要额外的服务。
 *  Phoenix还支持一些高级功能，比如多个二级索引，flashback查询等。无论是Impala还是Hive都无法提供二级索引支持。

以下是比较：

<table> 
 <thead> 
 <tr> 
 <th> &nbsp; </th> 
 <th> Apache Phoenix </th> 
 <th> Impala </th> 
 <th> Hive </th> 
 </tr> 
 </thead> 
 <tbody> 
 <tr> 
 <td> 语法 </td> 
 <td> SQL </td> 
 <td> SQL </td> 
 <td> HiveQL </td> 
 </tr> 
 <tr> 
 <td> 定位 </td> 
 <td> 为低延时应用在HBase之上提供高效的SQL查询 </td> 
 <td> 大数据集之上的交互式探索分析 </td> 
 <td> 批处理比如ETL </td> 
 </tr> 
 <tr> 
 <td> 二级索引 </td> 
 <td> Yes(无法保证ACID) </td> 
 <td> No </td> 
 <td> No </td> 
 </tr> 
 <tr> 
 <td> 额外的服务 </td> 
 <td> No </td> 
 <td> Yes </td> 
 <td> Yes </td> 
 </tr> 
 <tr> 
 <td> HBase的高级特性 </td> 
 <td> Yes </td> 
 <td> No </td> 
 <td> No </td> 
 </tr> 
 </tbody> 
</table>

**6.安装**

--------------------

如果需要安装Phoenix，至少需要HBase1.0，从CDH5.4以后开始打包HBase1.0。

1.下载Phoenix的Parcel：[http://archive.cloudera.com/cloudera-labs/phoenix/][http_archive.cloudera.com_cloudera-labs_phoenix]

2.通过Cloudera Manager安装Parcel，首先在Cloudera Manager里配置一个新的Parcel仓库地址，然后下载，分发，激活。

3.如果你想要使用HBase的二级索引功能，在重启HBase服务之前，需要在hbase-site.xml中添加以下内容：

4.在激活Phoenix的Parcel包之后，请确认已经重启了HBase的服务。

**7.Phoenix的命令行工具**

--------------------

Phoenix的命令行工具在/usr/bin目录下，在使用Phoenix的命令行工具之前，需要配置Java的环境变量。

*  phoenix-sqlline.py是执行SQL的命令脚本，在执行该命令之前，你需要指定HBase集群的Zookeeper地址，比如：phoenix-sqlline.py zk01.example.com:2181。如果想要在命令行执行一个SQL文件，可以在命令行直接带上该文件。比如：sqlline.py zk01.example.com:2181 sql\_queries.sql
 *  phoenix-psql.py可以用来加载CSV数据，后面也可以直接带上需要执行的SQL脚本，也可以不加。比如：phoenix-psql.py zk01.example.com:2181 create\_stmts.sql data.csvsql\_queries.sql
 *  性能测试脚本phoenix-performance.py，可以用于一次插入多少行数据。比如：phoenix-psql.py zk01.example.com:2181 100000

**8.接下来的工作**

--------------------

Phoenix项目正在调研使用Tephra(来自CASK)来做事务管理，PHOENIX-400。同时也在考虑集成Cost-based的查询优化，PHOENIX-1177。虽然Phoenix支持tracing，[http://phoenix.apache.org/tracing.html][http_phoenix.apache.org_tracing.html]，但监控和管理工作还有待优化和完善。

**9.总结**

--------------------

Phoenix简化了HBase很多场景的使用方式。与Cloudera Labs中的其他工具一样，Cloudera官方不会提供Support，仅供实验使用。如果有任何反馈意见，可以在Cloudera Labs的社区与Cloudera进行反馈和互动。[https://community.cloudera.com/t5/Cloudera-Labs/bd-p/ClouderaLabs][https_community.cloudera.com_t5_Cloudera-Labs_bd-p_ClouderaLabs]

**10.参考网址**

[https://cloud.tencent.com/developer/article/1078057][https_cloud.tencent.com_developer_article_1078057]

--------------------

[https://blog.cloudera.com/blog/2015/05/apache-phoenix-joins-cloudera-labs/][https_blog.cloudera.com_blog_2015_05_apache-phoenix-joins-cloudera-labs]

[https://community.cloudera.com/t5/Storage-Random-Access-HDFS/HBase-Phoenix-support-for-CDH-5-7/td-p/41965][https_community.cloudera.com_t5_Storage-Random-Access-HDFS_HBase-Phoenix-support-for-CDH-5-7_td-p_41965]

[https://blog.cloudera.com/blog/2015/11/new-apache-phoenix-4-5-2-package-from-cloudera-labs/][https_blog.cloudera.com_blog_2015_11_new-apache-phoenix-4-5-2-package-from-cloudera-labs]

[https://www.cloudera.com/developers/cloudera-labs.html][https_www.cloudera.com_developers_cloudera-labs.html]

[https://community.cloudera.com/t5/Cloudera-Labs/bd-p/ClouderaLabs][https_community.cloudera.com_t5_Cloudera-Labs_bd-p_ClouderaLabs]

[http_archive.cloudera.com_cloudera-labs_phoenix_parcels_1.3]: http://archive.cloudera.com/cloudera-labs/phoenix/parcels/1.3/
[HBase]: https://cloud.tencent.com/product/hbase
[Link 1]: https://cloud.tencent.com/product/cdb-overview
[http_archive.cloudera.com_cloudera-labs_phoenix]: http://archive.cloudera.com/cloudera-labs/phoenix/
[http_phoenix.apache.org_tracing.html]: http://phoenix.apache.org/tracing.html
[https_community.cloudera.com_t5_Cloudera-Labs_bd-p_ClouderaLabs]: https://community.cloudera.com/t5/Cloudera-Labs/bd-p/ClouderaLabs
[https_cloud.tencent.com_developer_article_1078057]: https://cloud.tencent.com/developer/article/1078057
[https_blog.cloudera.com_blog_2015_05_apache-phoenix-joins-cloudera-labs]: https://blog.cloudera.com/blog/2015/05/apache-phoenix-joins-cloudera-labs/
[https_community.cloudera.com_t5_Storage-Random-Access-HDFS_HBase-Phoenix-support-for-CDH-5-7_td-p_41965]: https://community.cloudera.com/t5/Storage-Random-Access-HDFS/HBase-Phoenix-support-for-CDH-5-7/td-p/41965
[https_blog.cloudera.com_blog_2015_11_new-apache-phoenix-4-5-2-package-from-cloudera-labs]: https://blog.cloudera.com/blog/2015/11/new-apache-phoenix-4-5-2-package-from-cloudera-labs/
[https_www.cloudera.com_developers_cloudera-labs.html]: https://www.cloudera.com/developers/cloudera-labs.html