Storm 0.9.3的新特性 比眉伴天荒 2021-06-24 15:57 320阅读 0赞 Storm 0.9.3的版本修改了100个Bug，改进了与Kafka的集成，并增加了与HDFS和HBase的集成。 ### 改进了与Kafka的集成 ### Apache Storm从0.9.2-incubating版本开始支持Kafka作为流数据的数据源。0.9.3的版本在此基础上进行了几项改进，包括向一个或多个Kafka集群或topic写入数据。Storm现在既可以将Kafka作为流数据的数据源，也可以将它作为流数据的目的地。这使得Storm支持Topology间通信，Topology链，基于Spout/Bolt的Topology与基于Trident数据流的集成，和与支持以Kafka作为数据源的任何外部系统的集成。Storm 0.9.3使用的Kafka的版本为 Apache Kafka 0.8.1.1. 更多信息请查看[Storm与Kafka的集成文档][Storm_Kafka](https://github.com/apache/storm/tree/v0.9.3/external/storm-kafka) ### 与HDFS的集成 ### 很多数据流的处理实例都涉及到将处理结果存储到HDFS上，以做进一步的分析和离线处理。为了使Topology的开发者更容易地将数据写入HDFS，0.9.3的版本包含了若干个支持这种功能的Bolt和Trident state的实现。Storm 0.9.3使用的Hadoop版本为Hadoop 2.2.0. 更多信息请查看[Storm与HDFS的集成文档][Storm_HDFS](https://github.com/apache/storm/tree/v0.9.3/external/storm-hdfs/) ### 与HBase的集成 ### Storm 0.9.3与HBase的集成包含了若干个允许Topology对HBase进行实时写入与查询的组件。Storm与HBase的集成使得用户可以对HBase中的数据进行流式查询，也可以将数据流处理结果存入HBase。Storm 0.9.3使用的HBase的版本为HBase 0.98.1-hadoop2 更多信息请查看[Storm与HBase的集成文档][Storm_HBase](https://github.com/apache/storm/tree/v0.9.3/external/storm-hbase) ### 减少了包依赖冲突 ### 在之前版本的Storm中，用户的Topology依赖包经常与Storm使用的依赖包相冲突。Storm 0.9.3更改了多个经常导致冲突的依赖包的位置。 ### 改进了支持多语言特性 ### Storm 0.9.3包含一个新的Node.js多语言实现，允许开发人员使用JavaScript编写spouts和bolts。此外，多语言协议的健壮性和错误处理能力也得到了很大的提升。这也导致多语言API发生了向后不兼容的变化。因此，在升级之前，使用了多语言拓扑的用户应查看Python、Ruby和JavaScript的多语言示例以确定其影响。 更全面的信息请查看[Storm 0.9.3的变更日志][Storm 0.9.3](http://storm.apache.org/2014/11/25/storm093-released.html) [Storm_Kafka]: https://github.com/apache/storm/tree/v0.9.3/external/storm-kafka [Storm_HDFS]: https://github.com/apache/storm/tree/v0.9.3/external/storm-hdfs/ [Storm_HBase]: https://github.com/apache/storm/tree/v0.9.3/external/storm-hbase [Storm 0.9.3]: http://storm.apache.org/2014/11/25/storm093-released.html
还没有评论，来说两句吧...