数据沉淀、数据挖掘和数据呈现_数据挖掘工程师

大数据咱听的够多了，百度一下，就“为您找到相关结果约7,150,000个”，可它到底是个什么东西，解读甚多，眼花缭乱的没个准。本文整理修改自知乎的一个问答，作者是大数据解决方案公司一面数据的创始人何明科，他尝试用大白话解释了数据沉淀、挖掘、呈现三个概念，从中我们也能看到整个行业的大致状况。如有补充，欢迎评论互动～

对于国内数据分析市场，我们感觉如下：

市场巨大，许多企业（无论是互联网的新锐还是传统的企业）都在讨论这个，也有实际的需求并愿意为此付钱，但是比较零碎尚不系统化。目前对数据需求最强烈的行业依此是：金融机构（从基金到银行到保险公司到P2P公司），以广告投放及电商为代表的互联网企业等。

尚没出现平台级公司的模式（这或许往往是大市场或者大机会出现之前的混沌期）。

To B服务的氛围在国内尚没完全形成，对于一些有能力的技术公司，如果数据需求强烈的话，考虑到自身能力的健全以及数据安全性，往往不会外包或者采用外部模块，而倾向于自建这块业务。

未来BAT及京东、58和滴滴打车等企业，凭借其自身产生的海量数据，必然是数据领域的大玩家。但是整个行业很大而且需求旺盛，即使没有留给创业公司出现平台级巨型企业的机会，也将留出各种各样的细分市场机会让大家可以获得自己的领地。

对于数据业务，按照我们的理解，简单将其分为三块：数据沉淀、挖掘和可视化，每一块分别对应不同的模式及产品或服务。（数据挖掘业务又被细分为分析、理解及存储。）下面会进行简单介绍，其实从我们的业务也可以看到一些整个行业的大致状况。

数据沉淀

用大白话说就是数据抓取。目前有四大方式获取数据 ：

网络爬虫，用Python及Go等开发自己的爬虫平台，对几十个网站进行每日抓取获得相关信息（详见：能利用爬虫技术做到哪些很酷很有趣很有用的事情？ – 何明科的回答）

Wi-Fi接入方案，比如我们自己就开发了一套完整的软硬件方案，优势是高ROI（投资回报比），且免费提供给物业管理者，帮助其实现靠网费赚钱以及推广费赚钱。在与其协商的基础上，获得用户数据。这主要是OpenWRT的开发以及一些智能硬件和客户端的开发。

提供一些图像方面的API，进行图片搜索及人脸搜索，满足客户在图像处理和图像识别方面的一些需求，同时获取相关的图像数据。涉及到一些Machine Learning和Deep Learning的算法，使用C++/Open CV/Matlab等工具或模块。

数据服务需求方自行提供。

这部分是按照数据销售的方式向客户收费。

数据挖掘

用大白话说，就是利用数据分析产生深层次有价值的理解。

基于以上各种方式获得的数据，我们可以做最简单的统计分析、用户及品牌理解、用户画像、各品牌或各产品型号之间的关系等等，了解现在和历史并争取预测未来。

常用的工具是Python/R/SPSS等，算法包括最简单的统计、稍微复杂一些的Machine Learning、现在被捧上天的Deep Learning以及Collaborative Filtering等等，也需要使用到Hive等大数据处理平台。

这部分类似于咨询服务，向有需求的客户按照项目收费。

数据呈现

用大白话说，就是把分析结果用最美观和最容易理解的方式（图标或者图形）展现出来。

目前，行业大概有几种玩法：

网站（兼容PC端和移动端）：提供给付费的B端客户，不对外公开，大致形式如下：

开专栏和做公众号：都是纯免费的，将一些不敏感的数据和分析分享出去，攒人品赚口碑。

提供一个SaaS的公有云平台，方便大家把自己的数据制作成为便于在网上特别是移动端传播的图文报表。产品的逻辑很简单：读数读图的需求越来越强烈，但是却缺乏这样的工具或者平台来制作图文并茂的内容，即使是Excel，也不能制作出适合于网络传播的图文内容。

常使用的技术是JS+Node.JS+MongoDB等等。

这部分主要是赚吆喝和汇集流量，怎么赚钱目前尚不清楚。

转载请注明：数据分析 » 数据沉淀、数据挖掘和数据呈现_数据挖掘工程师