Apache Ignite 初探

我不是女神ヾ 2022-06-12 03:39 116阅读 0赞

Apache Ignite 内存数组组织框架是一个高性能、集成和分布式的内存计算和事务平台，用于大规模的数据集处理，比传统的基于磁盘或闪存的技术具有更高的性能，同时他还为应用和不同的数据源之间提供高性能、分布式内存中数据组织管理的功能。

在Ignite以前，大规模、大数据量、高并发企业级或者互联网应用为了解决数据缓存、降低数据库负载、提高查询性能等突出问题，很多采用了 Hazelcast或者Oracle Coherence或者GemFire（比如12306网站）或者目前应用越来越广泛的Redis等缓存技术，本文对这些相关的技术做了简单的比较，基本内容来源于其官方网站，进行了翻译整理，方便更多的人了解他。

## 1 Apache Ignite是什么 ##

Apache Ignite内存数组组织框架是一个高性能、集成和分布式的内存计算和事务平台，用于大规模的数据集处理，比传统的基于磁盘或闪存的技术具有更高的性能，同时他还为应用和不同的数据源之间提供高性能、分布式内存中数据组织管理的功能。

## 2 Ignite历史 ##

相关赞助商

[![VCRbox-logo.png][]][VCRbox-logo.png 1]

CNUTCon全球运维技术大会，9月10日-9月11日，上海·光大会展中心大酒店，[精彩内容抢先看][Link 4]

Ignite来源于尼基塔·伊万诺夫于2007年创建的GridGain系统公司开发的GridGain软件，尼基塔领导公司开发了领先的分布式内存片内数据处理技术-领先的Java内存片内计算平台，今天在全世界每10秒它就会启动运行一次。他有超过20年的软件应用开发经验，创建了HPC和中间件平台，并在一些创业公司和知名企业都做出过贡献，包括Adaptec, Visa和BEA Systems。尼基塔也是使用Java技术作为服务器端开发应用的先驱者，1996年他在为欧洲大型系统做集成工作时他就进行了相关实践。

2014 年3月，GridGain公司将该软件90%以上的功能和代码开源，仅在商业版中保留了高端企业级功能，如安全性，数据中心复制，先进的管理和监控等。 2015年1月，GridGain通过Apache 2.0许可进入Apache的孵化器进行孵化，很快就于8月25日毕业并且成为Apache的顶级项目，9月28日即发布了1.4.0版，应该说发展、迭代速度非常之快。该技术相关资料较少，但确是一个很有潜力的技术，解决了大规模、大数据量、高并发企业级或者互联网应用面临的若干痛点。

重要通知：接下来InfoQ将会选择性地将部分优秀内容首发在微信公众号中，欢迎关注InfoQ微信公众号第一时间阅读精品内容。

![qrcode.png][]

## 3 Ignite和Hadoop以及Spark的关系 ##

Ignite和Hadoop解决的是不同的问题，即使在一定程度上可能应用了类似的底层基础技术。Ignite是一种多用途，和OLAP/ OLTP内存中数据结构相关的，而Hadoop仅仅是Ignite原生支持（和加速）的诸多数据来源之一。

Spark 是一个和Ignite类似的项目。但是Spark聚焦于OLAP，而Ignite凭借强大的事务处理能力在混合型的OLTP/ OLAP场景中表现更好。特别是针对Hadoop，Ignite将为现有的Map/Reduce，Pig或Hive作业提供即插即用式的加速，避免了推倒重来的做法，而Spark需要先做数据ETL，更适合新写的分析应用。

## 4 和类似技术的对比 ##

在Ignite以前，大规模、大数据量、高并发企业级或者互联网应用为了解决数据缓存、降低数据库负载、提高查询性能等突出问题，很多采用了Hazelcast或者Oracle Coherence或者GemFire（比如12306网站）或者目前应用越来越广泛的Redis等缓存技术，本文对这些相关的技术做了简单的比较，基本内容来源于其官方网站，进行了翻译整理，方便更多的人了解他。

### 4.1 Ignite和Hazelcast ###

Apache Ignite和Hazelcast都提供了富数据网格的特性，解决了可扩展的分布式集群环境下在内存中对数据进行缓存和分区的问题。

Ignite和Hazelcast在缓存的方式上是有很多不同的，同时支持事务和数据的查询，下面的表格列出了一些主要的不同点，这些都是我们在选择内存数据网格产品时需要特别关注的。

<table style="border-collapse:collapse; border-spacing:0px; margin:10px 0px; border:1px solid rgb(224,224,224); padding:0px; color:rgb(0,0,0); font-family:Helvetica,&quot;Open Sans&quot;,Arial,&quot;Hiragino Sans GB&quot;,&quot;Microsoft YaHei&quot;,微软雅黑,STHeiti,&quot;WenQuanYi Micro Hei&quot;,SimSun,sans-serif; font-size:14px"> 
 <tbody style="margin:0px; border:0px; padding:0px"> 
 <tr style="margin:0px; border:0px; padding:0px"> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> 序号 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> 对比项目 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> Apache Ignite </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> Hazelcast </td> 
 </tr> 
 <tr style="margin:0px; border:0px; padding:0px"> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> 1 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> 聚焦于开源 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> Ignite是一个Apache的开源项目，还在不断的增加新特性，对C++、.NET/C#和Node.js的支持也会很快到来。 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> Hazelcast正在持续的减少开源版本的功能，更多的功能加入了企业版中，比如堆外存储，持续查询，Web-Session集群，SSL加密支持等。 </td> 
 </tr> 
 <tr style="margin:0px; border:0px; padding:0px"> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> 2 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> JCache(JSR107) </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> Ignite完全兼容JCache (JSR 107)缓存规范 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> Hazelcast完全兼容JCache (JSR 107)缓存规范 </td> 
 </tr> 
 <tr style="margin:0px; border:0px; padding:0px"> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> 3 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> 堆外存储 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> Ignite根据用户配置支持将数据存储在堆内或者堆外 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> Hazelcast仅在商业版中提供堆外存储的功能 </td> 
 </tr> 
 <tr style="margin:0px; border:0px; padding:0px"> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> 4 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> 堆外索引 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> 只要配置了堆外存储，Ignite就会在堆外存储索引(为了不影响使用堆内内存的用户应用。) </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> 不支持 </td> 
 </tr> 
 <tr style="margin:0px; border:0px; padding:0px"> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> 5 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> 持续查询 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> Ignite支持持续查询，比如允许客户端和服务器端订阅数据变化的持续通知 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> Hazelcast仅在商业版中提供持续查询的功能。 </td> 
 </tr> 
 <tr style="margin:0px; border:0px; padding:0px"> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> 6 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> SQL查询 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> Ignite支持完整的SQL(ANSI-99)语法以查询内存中的数据 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> Hazelcast仅对SQL提供有限的支持(只有几个关键字) </td> 
 </tr> 
 <tr style="margin:0px; border:0px; padding:0px"> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> 7 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> 关联查询 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> Ignite支持完整的SQL关联，包括跨多个缓存的关联，比如：select * from A a, B b where a.b_id = b.id </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> Hazelcast不支持任何的关联查询，不管用不用SQL，如果需要，开发者需要手工处理多个查询的结果。 </td> 
 </tr> 
 <tr style="margin:0px; border:0px; padding:0px"> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> 8 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> 查询一致性 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> Ignite提供完整的查询一致性，即查询是在一个特定的快照中执行的，查询开始之后的数据更新不影响查询的结果。 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> Hazelcast查询是不一致的，这是可能的，查询结果的一部分将看到一定的更新，而另一部分则不会。 </td> 
 </tr> 
 <tr style="margin:0px; border:0px; padding:0px"> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> 9 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> 查询容错 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> Ignite查询是容错的，即查询结果始终是一致的不会受到集群拓扑发生变化的影响，比如节点的加入，退出或崩溃。 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> Hazelcast查询是不容错的，即查询结果在集群拓扑发生变化时不一致，而数据正在后台重新平衡。 </td> 
 </tr> 
 <tr style="margin:0px; border:0px; padding:0px"> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> 10 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> 数据一致性 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> Ignite支持内存中数据的原子性和事务一致性，不管数据存储在分区或者复制缓存中。 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> Hazelcast仅在分区缓存中支持原子性和事务一致性，而存储在复制缓存中的数据没有任何事务一致性的保证。 </td> 
 </tr> 
 <tr style="margin:0px; border:0px; padding:0px"> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> 11 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> SSL加密 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> Ignite为所有的网络传输提供SSL加密，包括客户端和服务器端以及服务器之间。 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> Hazelcast仅在商业版中提供SSL加密功能。 </td> 
 </tr> 
 <tr style="margin:0px; border:0px; padding:0px"> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> 12 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> Web-Session集群 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> Ignite为所有已知的应用服务器提供Web-Session的缓存和集群化支持。 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> Hazelcast仅在商业版中提供Web-Session集群化支持。 </td> 
 </tr> 
 <tr style="margin:0px; border:0px; padding:0px"> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> 13 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> 计算网格 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> Ignite提供集群上的M/R，Fork/Join和基本的分布式lambda处理，包括任务负载平衡，容错，检查点，计划任务等。 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> Hazelcast仅支持M/R和集群内的分布式随机任务。 </td> 
 </tr> 
 <tr style="margin:0px; border:0px; padding:0px"> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> 14 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> 流式网格 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> Ignite支持内存流，包括对数据流浮动窗口的查询和维护支持 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> 不支持 </td> 
 </tr> 
 <tr style="margin:0px; border:0px; padding:0px"> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> 15 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> 服务网格 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> Ignite可以使用户方便地将其服务集群化，包括支持各种单例集群。 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> Hazelcast管理的服务不提供单例集群的功能。 </td> 
 </tr> 
 <tr style="margin:0px; border:0px; padding:0px"> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> 16 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> .Net/C#,C++支持 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> Ignite将在1.5.0版中提供完整的内存组织API </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> Hazelcast仅在商业版中提供有限的客户端API支持。 </td> 
 </tr> 
 <tr style="margin:0px; border:0px; padding:0px"> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> 17 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> Node.js支持 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> Ignite将在1.5.0版中提供Node.js的客户端API。 </td> 
 <td style="margin:0px; padding:0px; border:1px solid rgb(224,224,224)"> 不支持 </td> 
 </tr> 
 </tbody> 
</table>

### 4.2 Ignite和Coherence ###

Apache Ignite和Oracle Coherence都提供了富数据网格的特性，解决了可扩展的分布式集群环境下在内存中对数据进行缓存和分区的问题。

Ignite和Coherence在缓存的方式上是有很多不同的，同时支持事务和数据的查询，下面的表格列出了一些主要的不同点，这些都是我们在选择数据网格产品时需要特别关注的。

### 4.3 Ignite和Gemfire ###

Apache Ignite和Pivotal Gemfire都提供了富数据网格的特性，解决了可扩展的分布式集群环境下在内存中对数据进行缓存和分区的问题。

Ignite和Gemfire在缓存的方式上是有很多不同的，同时支持事务和数据的查询，下面的表格列出了一些主要的不同点，这些都是我们在选择数据网格产品时需要特别关注的。

### 4.4 Ignite和Redis ###

Apache Ignite和Redis都提供了分布式缓存的功能，但是每个产品提供的功能特性是非常不同的。Redis主要是一个数据结构存储，但是Ignite提供了很多内存内的分布式组件，包括数据网格、计算网格、流，当然也包括数据结构。

Ignite是一个内存数据组织，并且提供了更多的功能，无法进行一个一个对应功能特性的比较，但是我们仍然能对一些数据网格功能进行比较。

## 5 总结 ##

按照官方的说法，Ignite是很强大的整体解决方案和开发平台，功能很多而且复杂，和相关技术的比较中也没有提到缺点或者不足，这个只能使用过程中逐步发现。

从设计的角度看，Ignite对开发者非常友好，提供了丰富的、符合各种标准和规范的API，如果在已有项目或者系统中集成的话，对已有代码的侵入性或者对已有架构设计的破坏性较小，在已有架构代码中做出不是很大的修改，就可以在整个系统中加入一个数据缓存层或者内存计算层，对下可以映射各种关系库或者非关系库，对上方便的对接应用系统。

目前来看，一个显而易见的问题就是，社区刚刚建立，文档等开发资料较少，虽然 Ignite本身历史尚短，但是既然来源于历史不算短的商业软件，还是经过实际生产环境验证的，可用性肯定是有的。社区的活跃和文档的完善还需要较长的时间，应用开发商和开发者对他的认知和接受，也还需要一个过程，Ignite技术和社区是不是会像Hadoop等技术一样活跃甚至火爆，或者是不是能替代一些技术，还需要观察，路还很长。

[Link 1]: http://www.infoq.com/cn/vendorcontent/show.action?vcr=4452&utm_source=infoq&utm_medium=VCR&utm_campaign=vcr_articles_click&utm_content=embedded
[AWS_IT]: http://www.infoq.com/cn/vendorcontent/show.action?vcr=3006&utm_source=infoq&utm_medium=VCR&utm_campaign=vcr_articles_click&utm_content=embedded
[Kubernetes]: http://www.infoq.com/infoq/url.action?i=16565&t=f
[Link 2]: http://www.infoq.com/infoq/url.action?i=16566&t=f
[Link 3]: http://www.infoq.com/infoq/url.action?i=16567&t=f
[VCRbox-logo.png]: http://cdn.infoqstatic.com/statics_s1_20170711-0402/resource/sponsorship/featuredcategory/6820/VCRbox-logo.png
[VCRbox-logo.png 1]: http://www.infoq.com/infoq/url.action?i=16601&t=f
[Link 4]: http://www.infoq.com/infoq/url.action?i=16568&t=f
[qrcode.png]: http://cdn4.infoqstatic.com/statics_s1_20151118-0143/resource/articles/docker-in-xueqiu/zh/resources/qrcode.png