首页 > IT互联网 > 大数据三重门
2016
02-19

大数据三重门

这篇文章对大数据未来的发展趋势做了一个推演,如能对大家有所启发更好,否则权当做一篇碎片化时代产生的快速消费品一看而过即可。


人类实现了信息的存储,就像Time Machine一样,回到任意一个点,通过已有的数据重新构建过去的影像,也能够预测未来,模拟一个虚拟而准确的未来环境

大数据第一重

这是大数据的第一阶段,也是大数据当前所处的阶段。这个阶段的表象是:

大数据部门在大部分公司遍地开花,
大家一拥而上

这一阶段的必然结果是:

大家发现耗费了大量人力物力,
终究是收效有限

虽然大部分企业的消耗了大量的资金,却没有带来应有的价值,但带来的一个副产品是

企业花的钱给工业界和学术界
积累了大量的大数据人才

这些人才会在第二重阶段时产生巨大的价值。

为什么我会做出上面的结论?我先说个例子吧,光是搭建一个像样子的数据平台,就需要5-6个熟练的大数据工程师折腾大半年,还不包括真正基于之上的多维分析,机器学习(预测)等产品,而这些产品的难度也是很大的,需要大量的人力,关键是还不一定能做好。要达到高效的计算,以及系统的稳定,机器的数量也有不少要求,因为大部分大数据组件都是分布式的。

与此同时,很多人已经意识到了大数据的实施难度,一些专门服务于大数据产业的公司也开始慢慢诞生成长,这些公司覆盖了从大数据组件开发,到大数据平台构建,再到基于大数据平台的上层解决方案,并且在各个行业慢慢伸出了自己的触角。

譬如:当前比较火热的互联网金融,其实就是依托于大数据,做各种原先金融行业很看重的信征,欺诈检测,自动放贷等。这些基于大数据而带来的技术变革大大提高了金融行业的效率,为资金更快的流转提供了基础,从而对所有行业都会产生深远影响。

然而这些公司在当前阶段还没有形成主流,各个公司依然是偏向于选择自建数据平台。

大数据第二重

进入到第二重时,会有明显的四个特征:

  1. 在大量的中小企业碰壁之后,他们意识到,自己做大数据并不是最明智的选择,转而寻方案解决提供商。

  2. 大量的大数据服务公司开始已经做好原始积累。在技术和行业经验上得到充分的发展,并且在行业形成较好的口碑,其行业触角也已经覆盖大部分产业

  3. 大公司发现毕竟自己的主业不是去做大数据,而是基于大数据的结果更好的帮助自己已有的产品或者导向做好新的产品。这个时候大公司本身也开始慢慢寻求一些第三方大数据公司的支持。

  4. 更好的数据法规支持,保证行业内的数据隐私,安全等(很重要)

此时,整个大数据行业开始慢慢恢复到理性成熟阶段,大家各司其职。BAT依然会以自己的主业为主,大数据虽然是一个产生变革的技术,然而终究是为了产品服务的,应该让拥有大数据基因的公司去做更好些。这也是人类分工体系下必然产生的。

这个时候由于有了第一重阶段的人才积累,很多人会出来创业,大数据创业会成为潮流,并且枝繁叶茂,渐渐覆盖各个行业的各个领域。随着时间推移,一些公司在各自的领域深耕,渐渐形成一些领域内的重量级解决方案公司,而不管是中小型企业,还是大企业,慢慢都会将大数据业务慢慢转移到更专业的大数据公司。

此阶段,可能私有部署依然是主流。

大数据第三重

到第三重的时候,也会有几个特点:

  1. 大数据企业也会形成三极,类似现在的BAT,拥有了产业里的哥斯拉
  2. 云计算的发展已经到了
    • 中小型公司,绝大多数都已经在云端
    • 大型公司,已经完全普及混合云架构

这个时候,大数据领域的几家巨头公司,慢慢将自己的业务场景
抽象和覆盖的差不多,慢慢成为了大数据云服务公司。

此时可能会产生如下的几个有意思的情况:

  1. 这几家大数据公司会在几家主流云平台搭建各自的大数据平台,方便企业的数据接入
  2. 大部分企业内部可能只有分析师,不再有数据平台架构师,算法工程师等。具体情形和现在使用公有云相似,一些做基础运维的岗位慢慢都被淘汰。
  3. 对应的大数据公司,产生的效益应该要远远好于用户自己搞,因为他们积累的大量的行业共通经验。应该可以节约了大量的企业和社会成本。

后话

云化是整个IT产业的趋势,而在其上的各个产业,譬如大数据产业,也终究是逃不掉这个大趋势的。 大数据,还有云计算,是整个新的信息革命的基础,愿大家乘着这巨浪,到达属于自己的彼岸。

编程技巧