如何利用Hadoop降低大数据分析成本

大数据将成为代替云计算的新一代热门话题。这是必然的结果：随着时间的推移，企业产生的数据量已经越来越大了，这些数据包括客户购买偏好趋势、网站访问和习惯、客户审查数据等等;那怎样才能把这么大的数据集整理成综合形式呢?传统的商业智能(BI)工具(关系型数据库和桌面数学计算包)在处理企业海量数据时已经有点不够用了。当然，数据分析行业也有开发工具和框架，支持数据研究人员和分析师们挖掘大数据集，并能承受得了信息负载。

对于较大的公司来说，海量数据处理已经不是什么新鲜东西了。例如，Twitter和LinkedIn已经是大数据的著名用户了。这两家公司已经各自形成了一套明显的竞争优势，通过挖掘他们的大规模数据仓库来识别趋势。那么，中型企业CIO该怎么办呢?幸运的是，手边就有可用的工具。

这些工具中有一款是免费的，即基于Java的Apache Hadoop编程框架。该框架在过去一年到一年半时间里在大数据领域获得了极大的市场。全球的行业专家和用户们都把Hadoop称为事实上的数据挖掘标准。纵观现存其它大数据产品的表现，再考虑到Apache Hadoop1.0版是在2011年11月底才发布的这一事实，Hadoop获得这样的认可确实令人惊讶。Hadoop是如此流行，以至于Hortonworks公司CEO Eric Baldeschwieler预测在2017年它将处理全世界数据的半数之多。在接下来的这一年，Hadoop将会以某种方式靠近您的组织的几率非常大。

Hadoop主要面向开发人员。其主要框架MapReduce支持编程者处理分布式计算机群的大规模数据量。缺点是它是非常重型的产品。而且，Hadoop可以把直接操作数据仓库的技术人群与数据消费人群和数据翻译员区分开来。

考虑到中型企业CIO的预算限制，下面有一些建议可以帮助克服海量数据的挑战：

不要忽略了趋势。大数据不会消失，不能忽略大块数据分析转换能力和分析数据趋势。花一些时间理解Hadoop以及其它大数据产品的功能和结构。思考一下你拥有数据的方式可以为你的公司带来改善。

为合格的数据科学家寻找预算空间。这些人是您BI交响曲的打击乐器。市场上合格的数据科学家非常紧缺。甚至在去年11月份的Hadoop世界大会上，培训也成为了一个很大的话题。要使用你培训预算的自由额度聘请最好的人员，保持他们的数据分析技能是顶尖的。

理解大量数据集的存储提示。大数据其实是从多个地方和多个数据库以近乎实时的速度挖掘海量数据，而不会受到结构的障碍。这就使得你基础设施中的存储工作方式更加复杂了。对于这些奴表，云存储可能会更灵活和敏捷吗?要与你的数据挖掘策略团队一起，使其优先理解利用Hadoop处理能力的存储需求类型和数量。

准备好使用Hadoop的工具集。理解微软公司在这个领域的登场，试验一下Hadoop-Excel和Hadoop-SQL Server集成看看你能交付什么类型的结果。也要了解一下IBM公司的工具，看哪一款更适合您在桌面和终端用户软件方面的现有投入。

大数据的角逐已经开始了。可能在数据挖掘变革中你已经落后了。忽略数据分析大势的CIO们实际上是在拿自己的职业冒险。然而，对于已经跳入大数据领域并提取关键见解的CIO们，全世界都将在他们的掌握之中。

转载请注明：数据分析 » 如何利用Hadoop降低大数据分析成本_Hadoop大数据分析