数据融合  智慧决策

大数据融合应用平台服务商

了解更多

云科技|认识大数据

究竟什么是大数据?如何对大数据进行定义?大数据有哪些特征?知道了这些才能更好的明白它的前景如何。本文就带大家一起了解大数据。

 

前言

在浙江乌镇举行的首届世界互联网大会,马云演讲中提出DT(Data Technology)。马云提出,人类已经从IT时代走向DT时代,IT时代是以自我控制、自我管理为主,而DT(Data Technology)时代,它是以服务大众、激发生产力为主的技术。

 

DT时代,人人必谈大数据,所有的新系统几乎都是基于大数据,有人认为用了MongoDB就是大数据,也有人用了Hadoop就是大数据,或者认为数据量大就是大数据。

 

那什么样的技术可以定义为大数据呢?其实大数据并没有教科书式的明确定义,但是却有比较公认的特性描述,符合这些特性的就可以称作大数据,即大数据的5个V。

 

第一个V——大容量Volume)

数据的大小决定所考虑的数据的价值和潜在的信息

 

数据量一定要大,才可以称之为大数据。大到什么程度呢?依目前市场情况看,至少也要到TB级,很多案例都是PB甚至更高。但如果是GB级,那就不是称为大数据的存在了。 

 

第二个V——多样性(Variety)

数据类型的多样性

 

多样性关键的一点。多样性是区别于以往海量数据挖掘的最主要特征。它有两层含义,一是数据来源多样化,系统数据、设备日志、传感器、文件系统等等来源。二是数据结构多样化,这是核心特征!要包含结构化数据、非结构数据(包括所谓半结构化数据)。

 

总结起来就是,多源异构。这就是为什么有人认为使用NoSQL数据库(如MongoDB)就是大数据了,因为满足了多样化的特征,但其实还不够。

 

第三个V——高速Veriety

处理速度快。

 

高速即时效性,基本上至少也要达到亿级数据一秒查询,做的比较好的可以达到千亿级数据一秒查询。这个特征几乎决定了传统技术架构无法满足要求,因此Hadoop架构的出现催化了大数据的发展。

 

第四个V——低价值密度(Value)

合理运用大数据,以低成本创造高价值

 

这个很好理解,数据一定要有价值、而后才能产生价值。就好比存商品的叫才能仓库,存垃圾的叫垃圾填满坑一样。没价值的数据就像一个垃圾填满坑,这也是为什么数据治理在大数据实施中非常重要的原因之一。

 

第五个V——真实性(Variety

数据的质量

 

数据筛选的同时,还需要判断数据是否真实有效。若遇到虚假信息的干扰,影响到处理结果,最终可能使当事人做出错误的决策。因此,数据的真实性也是非常重要的一环。

 

结语

最后,也是最重要的,以上5个V是逻辑与共的关系,即需同时足上述五个特征,才能称为大数据。

认识大数据

2019-06-20
0
本网站由阿里云提供云计算及安全服务 Powered by CloudDream