大数据是干什么的？

　　很高兴能够和你一起讨论大数据是干什么的。
　　这些年以来，我们已经通过各种渠道听说过大数据；大数据出现的频率极高，给大家提供便利的生活支撑，也受到大家极高的关注。现在而今眼目下，好像开口闭口不提一下大数据，都觉得自己Low了的感觉。那我们就来了解一下什么叫大数据，了解大数据的特性，以及存在的危险。
　　大数据的定义
　　大数据（big data） ，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。现阶段我们能够接触到的所有信息，都是大数据中的一分部。 大数据具有5V特点：Volume（大量） 、Velocity（时效） 、Variety（多样） 、Value（低价值密度） 、Veracity（真实性） 五个特点。一、Volume（大量）
　　大数据有多大呢。就以我们日常接触传统数据来进行恒量吧。
　　一个中文汉字2个字节，即2byte。
　　1 KB = 1024 B  (KB - kilobyte)
　　1 MB = 1024 KB (MB - megabyte)
　　1 GB = 1024 MB (GB - gigabyte)
　　1 TB = 1024 GB (TB - terabyte)
　　1 PB = 1024 TB (PB - petabyte)
　　1 EB = 1024 PB (EB - exabyte)
　　1 ZB  = 1024 EB (ZB - zettabyte)
　　简单的工式可能阻碍你的理解，那我们以一下常用数据来帮助你理解。
　　1、500G 普通笔记本电脑硬盘容量；
　　2、1TB 普通移动硬盘容量；
　　3、1ZB其中据相关资料显示，2011年，全球被创建和复制的数据总量为1.8ZB；据预估：到今年年底（2020），全球大数据计算中心存储的数据可达到35ZB。
　　二、Velocity（时效）
　　大数据具有一定的时效性。
　　每一条数据，都是具有一定的时效性的。例如:几个月以前全球的新冠肺炎疫情累积确诊数量为0；截止目前为止，全球已经有超过300万人确诊感染新冠肺炎。每日今日头条呈现的新闻排行榜，也是不停地在变化。每一条数据的产生，到使用，到消亡，所经历的时间越来越短；热搜的排行十几分钟更新一次，实际上，信息的变化更快，快到超出我们的想像。
　　引用一句话： 就在刚刚过去的这一分钟，数据世界里发生了什么？
　　Email：2.04亿封被发出
　　Google：200万次搜索请求被提交
　　Youtube：2880分钟的视频被上传
　　Facebook：69.5万条状态被更新
　　Twitter：98000条推送被发出
　　12306：1840张车票被卖出
　　……
　　以我们防控新冠肺炎中比较出采的健康码为例：
　　我们每个人在支付宝上传了我们的相关信息，支付宝根据我们的位置信息、通信信息、健康信息等等给我们及时更新健康码颜色。如果不具有时效性，那么这个健康码就毫无用处。
　　三、Variety（多样）
　　大数据的数据来源是多样化的，任何在网上能接触到的信息，或者能搜集到的信息，都会成为大数据的基本信息资料。
　　每个人的基础信息，包括姓名，年龄，性别，身份证号，电话号码，你日常通过社交软件搜索的内容等等；
　　每个地图的信息，经度，纬度，路由，你日常通过导航软件展现出来的信息；
　　音乐，视频，文章，图片，你每天在网上浏览的海量数据都是大数据。
　　……
　　以上的所有所有，也就是我们人类能接触到的所有信息，都纳入大数据需要存储的范畴 。
　　四、Value（低价值密度）
　　大数据的信息量太多，但是真正有效的，有价值的信息确相当有限。比如，某房产中介商获取了一百万人所有身份信息，但是，对他们有效的信息，只限定在该城市中，有购买能力，有购买需求的潜在对象；而其他所有的信息对于该中介来说，毫无用处。
　　对于所有的企业来说，能够从低价值密度中获得对他有效的信息，再对该信息进行精准处理，则相当重要。在这个年代，谁能最快速有效地获取大数据，提取大数据，处理大数据，再变成商业资源，那他就能成为大数据时代的王者。
　　五、Veracity（真实性）
　　大数据的基础信息是真实的，就看每个企业能否在这海量的真实的基础信息中，获取最有效的资源。
　　大数据的挑战：
　　当大数据与云计算结合起来之后，大数据就大大向前迈出了一步，大数据给大家的生活带来便利；在这一大跨步当中，安全永远是无法避免的话题。
　　想一想，很多购物软件的杀熟，新注册人员能看到价格和老用户不一致，这是不是可怕？
　　想一想，如果并非因为疫情原因，有人随便一查就能知道你的位置信息，通信信息，和哪些人接触过，是不是可怕？
　　想一想，你现在手机中的很多APP一直在忽悠你打开的权限，是不是可怕？
　　当你我在享受大数据的快感的时候，有没有发现自己也是穿着皇帝的新装徜徉在大数据的海洋中。
　　在此呼吁相关企业在提取大数据的时候，需要考虑是否符合法律和伦理；国家也需要尽快出台相关的法律，保护大家的安全。
　　大数据其实是运用数据工具进行捕捉、管理和处理的数据集合。
　　当我们还没有认识到他的时候，其实他已经存在于我们周围的方方面面了。
　　相信未来的时代一定会是DT的时代，DT就是大数据，是数字科技。
　　无论是大型企业还是小型商户，都可以运用大数据来进行精准营销，可以大大促进企业的转型升级。
　　也可以用来规划问题，及时的解决问题，分析商品的数据，分析用户的数据，可以使企业降低成本，并且能实现利润最大化。
　　转过来讲，大数据的前提就是需要有数据源，这样才能对数据进行分析，实现数据的最大价值，指导业务运营，进行商业变现。
　　举些我们身边最熟知的例子吧，像微博热搜，芝麻信用，在逛网上商店时的一些智能商品推荐，还有在刷视频听音乐时的一些每日推荐，背后都是大数据进行的智能分析。
　　大数据是智慧城市智慧生活的应用啊
　　先来看看大数据的概念，你就会知道一些。大数据（big data），IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
　　大数据通过工具对数据采集，通过分析，做出更加合理的决策。
　　大数据已经应用到各行各业，尤其是在这次疫情中，大数据的使用就比较明显。通过大数据来追踪人的活动轨迹，及时的做出判断，有效的控制疫情的发展。
　　再比如，在线教育网站，会通过大数据来判断学生的学习周期，分析学生的学习行为。从而提出对学生有用的学习方法。
　　现在大数据与各领域都密切结合，促进各个领域的发展。
　　旅游业的应用
　　首先说一下大数据的特点: 数据海量
　　再说一下大数据怎么产生的:
　　为什么有大数据呢？
　　那是因为存的多了，慢慢就变成了大数据。
　　那么多数据存一个地方肯定是存不下的，这就涉及到分布式存储(HDFS)，这里暂且不细讲，因此，存到最后，肯定会出现存爆的 时候，但是很可能我们是等不到它爆炸的那天了
　　最后来说说大数据做什么用的:
　　大数据就是历史数据，供决策者进行决策 ，但是原始的大数据只是死数据，并不知道决策者需要什么数据，因此就要进行大数据分析和计算，大数据里叫分布式计算，经过计算筛选后的数据才是我们需要的数据。
　　大数据能做如下：一、对信息的理解。你发的每一张图片、每一个新闻、每一个广告，这些都是信息，你对这个信息的理解是大数据重要的领域。二、用户的理解。每个人的基本特征，你的潜在的特征，每个用户上网的习惯等等，这些都是对用户的理解。三、关系。关系才是我们的核心，信息与信息之间的关系，一条微博和另外一条微博之间的关系，一个广告和另外一个广告的关系。一条微博和一个视频之间的关系，这些在我们肉眼去看的时候是相对简单的。大数据专业术语：1、apache软件基金会(asf)提供了许多大数据的开源项目，目前有350多个项目。是专门为支持开源软件项目而办的一个非盈利性组织。在它所支持的apache项目与子项目中，所发行的软件产品都遵循apache许可证。2、apachemahoutmahout提供了一个用于机器学习和数据挖掘的预制算法库，也是创建更多算法的环境。换句话说，是一个机器学习的天堂环境3、apacheoozie在任何编程环境中，需要一些工作流程系统来以预定义的方式和定义的依赖关系来安排和运行工作。oozie提供的大数据工作以apachepig，mapreduce和hive等语言编写
　　就是你走哪条路，吃什么，买什么，用什么，花多少钱，有多少钱等等都能把你看看一丝不挂。
　　预测，决策，为机器学习和人工智能提供支撑
　　预测从古代就做了，但是大数据做预测的核心是全样本，多个维度的全样本，交叉确认，人会说谎，在社交场合会隐藏部分内心，但这部分内心在日积月累的互联网上总有丝竹马迹会留下来，所以，越来越多的数据模型和数据会给出无限接近感知的结果。也就是可以让计算机具有学习能力，机器学习就是设计一个一些让计算机可以自动学习的算法，人工智能的核心是什么？归根到底是＂计算机用大数据在代替人脑来思考；计算机可能比人脑思考的更全面和迅速
　　当然大数据的应用，不是一篇文章，简单举个例子就能说明白的，现在是数据为王的时代，我们现在才真正开始体会＂数据最有说服力＂的魅力所在，我认为，数据的作用待开发的地方太多了，数据的作用，未来不可限量，没法预测，也不敢预测，只能期待。
　　大数据在最近两年才大力发展，并且在各领域蔓延，因此所产生的人才缺口巨大，而在企业中真正对大数据技能比较强力的技术人才，又特别的少；可以搞各种数据分析等工作。大数据学习完的话可以从事的工作还是非常多的，比如数据开发、数据分析、数据可视化等
　　存储和记录流量价值