Java程序员使用的20几个大数据工具

怼烎@ 2022-08-20 11:16 158阅读 0赞

最近我问了很多Java开发人员关于最近12个月内他们使用的是什么大数据工具。

这是一个系列，主题为：（[http://www.9ymw.com/][http_www.9ymw.com]高质量代码下载）

语言 web框架 应用服务器 SQL数据访问工具 SQL数据库 大数据 构建工具 云提供商

今天我们就要说说大数据。根据维基百科，大数据是数据集的一个广义的术语，并且该数据集是如此庞大和复杂，以致于传统的数据处理应用程序无法胜任。在许多情况下，使用SQL数据库用于存储/检索数据就足够了。但在另一些情况下，要么SQL数据库规模不够，要么还有更好的工具。这一切都取决于使用情况。

现在让我们来讨论一下存储/处理数据用的不同的非SQL工具——NoSQL数据库，内存缓存，

全文搜索引擎，实时流，图形数据库，等等。

MongoDB—— 一种流行的，跨平台的面向文档的数据库。

Elasticsearch——专为云而构建的分布式REST风格搜索引擎。

Cassandra——一个开源的分布式数据库管理系统，最初由Facebook开发，被设计用来处理

横跨多个商用服务器的大量数据，提供了无单点故障的高度可用性。

Redis—— 一个开源的（BSD许可），内存数据结构存储，作为数据库、缓存和消息代理使用。

Hazelcast——基于Java的开源内存数据网格。

EHCache——一种被广泛使用的开源Java分布式缓存，用于通用缓存、Java EE和轻量级容器

Hadoop——用Java编写的一个框架，用于分布式存储和对在计算机集群上的超大型数据集的分布式处理。

Solr——一个开源的企业搜索平台，用Java编写的，来自于Apache Lucene项目。

Spark——Apache Software Foundation中最活跃的项目，一个开源的集群计算框架。

Memcached—— 一个通用的分布式内存缓存系统。

Apache Hive——提供了Hadoop之上类似于SQL的层。

Apache Kafka—— 一个高通量、分布式的发布-订阅式消息系统，最初开发在LinkedIn上。

Akka—— 一个工具包和运行时，用于在JVM上构建高度并行的、分布式的、有弹性的消息驱动的应用程序。

HBase—— 一个开源的，非关系型的，分布式数据库，在谷歌的BigTable后建模，用Java编写，并运行在HDFS上。

Neo4j——用Java实现的开源图形数据库。

CouchBase——一个开源的、面向文档的分布式NoSQL数据库，特别为了交互式应用而优化。

Apache Storm——开源的分布式实时计算系统。

CouchDB——使用JSON来存储数据的面向文档的开源NoSQL数据库。

Oracle Coherence—— 一个内存的数据网格解决方案，通过提供快速访问常用数据的渠道，使得企业可预测地扩展关键任务应用程序。

Titan—— 一个可扩展的图形数据库，优化的目的在于存储和查询包含数千亿顶点和边的图形，分布在多机集群。

Amazon DynamoDB——一个快速、灵活、完全管理的NoSQL数据库服务，用于在任何规模需要一致的、个位数毫秒延迟的所有应用程序。

Amazon Kinesis—— 用于在AWS上的流数据的实时平台。

Datomic—— 一个用Clojure写的完全事务式的，支持云的，分布式数据库。

译文链接：[http://www.codeceo.com/article/big-data-tools-java-programmer-use.html][http_www.codeceo.com_article_big-data-tools-java-programmer-use.html]

英文原文：What Big Data Tools Do Java Developers Use?

[http_www.9ymw.com]: http://www.9ymw.com/
[http_www.codeceo.com_article_big-data-tools-java-programmer-use.html]: http://www.codeceo.com/article/big-data-tools-java-programmer-use.html

发表评论取消回复

表情：

评论列表（有 0 条评论，158人围观）

还没有评论，来说两句吧...

相关阅读

相关数据清洗的几个要点-大数据开发流程

*大数据开发流程：** **从数据采集-》数据清洗-》数据处理（分析，计算···）** 我们采集过来的数据是有问题的,其中可能有脏数据或者无效数据，所以我们想要进行数...

川长思鸟来/ 2024年04月18日 15:29/ 0 赞/ 55 阅读

相关糟糕程序员的20个坏习惯

> 阅读本文大约需要 5 分钟。你好，今天我想和你聊一聊优秀程序员的基本素养。我想你肯定遇到过这样一类程序员：他们无论是写代码，还是写文档，又或是和别人沟通，都显得特别

拼搏现实的明天。/ 2024年03月17日 14:44/ 0 赞/ 70 阅读

相关 Java程序员一直使用的一些大数据工具，不容错过！

目前，编程人员面对的最大挑战就是复杂性，硬件越来越复杂，OS越来越复杂，编程语言和API越来越复杂，我们构建的应用也越来越复杂。以下是列出的Java程序员一直使用的一些大数据工

淩亂°似流年/ 2022年11月26日 08:53/ 0 赞/ 185 阅读

相关 Java程序员使用的20几个大数据工具

最近我问了很多Java开发人员关于最近12个月内他们使用的是什么大数据工具。这是一个系列，主题为：（[http://www.9ymw.com/][http_www.9ymw

怼烎@/ 2022年08月20日 11:16/ 0 赞/ 159 阅读

相关程序员几个重要的网站

1.谷歌 2.csdn 3.msdn 4.博客园 5.github 6.stackoverflow 7.开源中国社区 8.apache 9.codeprojec

﹏ヽ暗。殇╰゛Y/ 2022年08月03日 08:21/ 0 赞/ 253 阅读

相关 Java程序员不可不知的几个网站，你去过几个？

看到网上IT友人积累的网址，非常不错，不少我也知道，非常值得去学习，特此也借他人帮助记录一下！！非常感谢！！转自：[http://ibeginner.sinaapp.com

小鱼儿/ 2022年04月13日 09:48/ 0 赞/ 279 阅读

相关几个改变世界的java工具

Java的开源生态系统强大而健康，这是我们创建OSCON Java的主要原因之一。在过去的十年中，有几个项目已经超越了简单的采用，并在Java世界中发挥了主导作用，进入了软件开

太过爱你忘了你带给我的痛/ 2022年03月22日 07:27/ 0 赞/ 211 阅读

相关 Java程序员的8大排序，你知道几个？

进QQ群：259038500即可免费领取Java学习视频8种排序之间的关系: ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_t

痛定思痛。/ 2022年03月12日 19:09/ 0 赞/ 257 阅读

相关转型大数据常见的几个问题

没有大数据的开发经验，怎么去面试大数据的职位呢？我认为越是好的公司，越是优秀的面试官，越是不在意你的经验，他们会更看重你的基础能力和解决问题的思路。所以你如果对自己的基础

Dear 丶/ 2021年11月05日 01:20/ 0 赞/ 275 阅读

相关程序员都用的开源工具，你用了几个？

作为程序猿要想成长快，进阶快，拿到更高的薪资，付出的肯定比一般人多。想想黑马程序员刚毕业的学员平均薪资都能达到万元以上，每个拿到高薪的学员，背后肯定付出了太多的努力。要知道在看

缺乏、安全感/ 2021年09月27日 11:08/ 0 赞/ 359 阅读