作战大数据的部落知识问题

其中实际数据相关的问题，人民的斗争今天刚刚找到正确的一块隐藏的各种来源中的数据。如果你曾经问一个特定的数据集，却被告知“问苏茜会计，”你已经经历了部落的知识问题。问题是，“问苏茜会计”大数据不能扩展。

部落知识问题会影响各种使用各种技术组织。不管你是否使用Hadoop的，Teradata的，或关系型数据库管理系统，还有周围默默无闻数据源的水平，混淆你的能力，以获得正确的数据块。

传统的主数据管理（MDM）和数据管理技术建议来解决问题具有自上而下的方法和严格的分类。但是，速度，数据类型和数据源改变的困惑这种做法，说Satyen Sangani，谁之前，曾在Oracle的数据仓库事业部共同创办Alation，今天出来的隐身与新产品，旨在关闭部落知识差距。

“虽然每个人都专注于如何以可视化的数据问题，以及如何使计算走得更快，我们如何更有效地存储的信息，我们已经看到了一些有关事实，只是这么多的数据在那里，” Sangani告诉Datanami。“有一个基本的信息的相关性问题。你怎么当你需要它的数据，你怎么样通过它，你如何筛选下来的数据得到什么，你实际上是在寻找什么？这是一个根本的问题，我们看到我们的客户打交道。“

这是一种新型的方法，产生的搜索和发现数据的强大洞察力，Sangani说。“当你进入数据库系统类似甲骨文和Teradata的，它不会告诉你任何有关谁在使用它时，它的使用，什么是触摸它，什么数据去信息，“他说。“所有的信息必须有效地通过机器或者访问查询日志或更基本要求的人。学会了”换句话说，去看看苏茜会计。Alation的解决问题的方法是利用机器学习来自动映射，人们自然会访问数据的访问路径的功率。其软件安装在访问日志和某些部件的元数据，以确定哪些数据块是最流行 ​​的各种数据源的代理人; 它也需要用于索引目的的实际数据的一个样品。这有点像谷歌的PageRank算法，但在客户自己的数据环境应用。

通过了解周围的数据的大背景中，Alation可以帮助业务分析师，IT管理员，还是企业管理者找出哪些数据集是最中肯他们的需求。以这种方式，它有点像Yelp的业务数据，Sangani说。

“Yelp的给你一个答复，并说”这不仅是结果，但结果是正确的原因是因为其他15人使用的这些数据，这是最后一次刷新在这个日期，还有其他400谁是订阅此数据的人，并有25个报告挂过它，“他说。“我们给你一吨的背景下，这是真正的背景下，使得搜索的嗡嗡声。”

除了建立核心搜索和发现的基础上，Alation的Postgres的基础平台包括协作层，它允许人们一起工作，以便更好地理解和注释的数据源，因为他们探索它们。在这种方式下，Alation希望能有机地产生更多的战略性数据治理和管理的举措在客户现场，作为一个分支（或延续），搜索和发现的战术应用。

Alation是走出今天潜行，但它已经尝鲜，包括一个相当令人印象深刻的易趣，MarketShare公司iHeart媒体，广场，和拐点。在eBay，该产品所使用的充电与数据分析坐跨多个系统的PB级业务分析。

“他们[淘宝网]结束了什么是做为了呈现不只是数据和围绕数据的前提下，还要用Alation作为知识管理工具的说，’嘿，计算客户流失，在这里你可以做的方式它，“Sangani说。“所以，这真的帮助分析师，帮助他们找到所需的信息，并得到他们的数据集，他们所需要的答案加快他们的工作流程和工作产品。”

目前Alation支持的Hadoop（包括HDFS和蜂巢）; 数据仓库平台，如Teradata的，甲骨文和IBM的Netezza公司; 和大多数关系型数据库系统。的在其路线图NoSQL数据存储，以及可能基于对象的文件系统。

“与MDM​​的问题是它的全部有效自上而下所有的人类策展，”Sangani说。“我们的观察一直认为只是没有可扩展性。它从来就不是以前可扩展性，这也是为什么我创办了这家公司。但它的作品就更少了。Sangani不相信机器可以为人类策展数据的地方。MDM计划将继续进行。但是，机器可以增加人类，使他们和MDM举措更加强大和成功的。

“如果你想想数据的正在被生成量，这是一个因素。但数据也变得更加复杂。最重要的是，这里只有很少的资源来管理数据。必须有更多的人管理的数据，更多的人访问和接触数据，谈论它，描述它。但是，也有为了使人们能够做到这一点的管理工作，更快地实现自动化技术。“

无论最终Alation解决数据问题部落还有待观察。究竟是不是为辩论是红木城的公司的共同创办人，包括Sangani，谁曾在甲骨文多年来的善意; 亚伦卡尔布，谁帮助苹果打造的Siri; 机器学习专家丰扭; 和Venky Ganti，谁开发的人工智能在微软。

转载请注明：数据分析 » 作战大数据的部落知识问题