为什么85%的大数据项目总是失败？

你的名字 2022-10-01 14:50 142阅读 0赞

企业在推行大数据项目时往往把项目规模和范围做得很大，但是事实却是，很多大数据项目通常都会失败。2016年，Gartner估算约60%的大数据项目都会失败。一年后，Gartner分析师Nick Heudecker表示，这个数据“过于保守”，大数据项目失败率应接近85%。直至现在他也是这样认为的。

并不只有Gartner这样认为。前微软高管Bob Muglia告诉分析网站Datanami，“我找不到完全满意的Hadoop客户。实际上，成功应用Hadoop的客户数量可能少于20个，甚至可能少于10个。考虑到其存在时间以及行业投入，这个结果很令人震惊。

熟悉大数据的人都知道，这个问题是真实且严重的，而不完全是技术问题。事实上，相对于本质原因，技术是失败的次要原因。以下是大数据项目失败的四个主要原因，以及可以成功的四种方式![9cc1d75c9864662a1c4768f6aa74311a.jpg-wh_651x-s_3789145152.jpg][]大连渤海医院电话 http://jbk.39.net/yiyuanfengcai/lx\_dlbhyy/

大数据问题1：整合不佳

Heudecker表示，大数据失败背后存在着一个重要的技术问题，那就是整合多个来源的孤立数据，以实现企业所需的数据处理能力。建立与孤立传统系统的连接并不容易。他说，整合成本是软件成本的五到十倍。其中最大的问题是简单集成：如何将多个数据源链接在一起?很多人选择数据湖路线，认为这个方式很简单，但事实并非如此。

孤立数据是问题的一部分。客户告诉他，当他们将数据从系统提取到像数据湖这样的公共环境中后，却无法弄清楚这些值的含义。“当你将数据输入数据湖时，怎么知道数字3意味着什么?”Heudecker问道。

普华永道(PwC)高级研究员Alan Morrison表示:“由于是在孤岛中工作，或者创建的数据湖只是数据沼泽，所以他们能完成的工作只是冰山一角。”“他们不理解数据中的关系，这些关系需要挖掘或推断，以便机器能够充分解释这些数据。另外，他们需要创建一个知识图层，以便机器能够解释下面映射的所有实例数据。否则，数据湖只能是一个数据沼泽，”

大数据问题2：不明确的目标

大多数人以为企业在进行大数据项目时会有明确的目标，但实际并不是这样的。很多公司通常是先启动项目，然后才去想目标。

数据集成软件公司Talend的产品营销经理Ray Christopher表示，“你必须认真审视这个问题。人们认为他们可以将结构化和非结构化数据连接起来，从而获得所需的信息。然而这必须提前确定目标，你想要什么样的信息?”

企业应用咨询公司的首席分析师Joshua Greenbaum表示，困扰大数据和数据仓库项目的部分原因是指导标准通常是大量数据的积累，而不是解决业务问题。

Greenbaum说，“如果将大量数据汇总在一起，就会得到数据转储，可以称之为卫生垃圾填埋场。这不是寻找解决方案的好方法。我一般建议客户先决定需要优先解决哪些业务问题，然后查看可用数据的质量，并在发现业务问题后解决数据问题。”

为什么大多大数据项目都失败了?对于初学者来说，大数据项目领导者都缺乏远见。Morrison这样认为。大多数企业只考虑数值数据或黑盒子NLP和识别引擎，并进行简单的文本挖掘和其他类型的模式识别。

大数据问题3：技能差距

很多时候，公司认为他们为数据仓库建立的内部技能将转化为大数据，而事实并非如此。 对于初学者来说，数据仓库和大数据以完全相反的方式处理数据：数据仓库在写入时执行模式，这意味着数据在进入数据仓库之前就会被处理和组织。

在大数据中，积累数据并应用读取模式，数据在读取时进行处理。因此，如果数据处理从一种方法转向另一种方法，技能和工具应该也是如此。

“技能永远是一个挑战。如果我们30年后谈论大数据，仍然会面临挑战。“很多人都依赖Hadoop。但Spark更好一些，因为栈更小也更容易训练。”

转载于:https://blog.51cto.com/14198725/2400712

[9cc1d75c9864662a1c4768f6aa74311a.jpg-wh_651x-s_3789145152.jpg]: /images/20220114/0a4da40d990940b2a78fde6cc8dd32f3.png