大数据开发分布式OLAP查询引擎Presto入门
在之前的《 大数据开发:OLAP开源数据分析引擎简介 》一文当中,我们对主流的一些开源数据分析查询引擎做了大致的介绍,今天的大数据开发分享,我们具体来讲解其中的Presto查询引擎,是什么,为什么会出现,又能够解决什么样的数据处理需求。
Presto是什么?
Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节。Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。
Presto为什么会出现?
Hadoop提供了大数据存储与计算的一整套解决方案;但是它采用的是MapReduce计算框架,只适合离线和批量计算,无法满足快速实时的Ad-Hoc查询计算的性能要求。
Hive使用MapReduce作为底层计算框架,是专为批处理设计的。但随着数据越来越多,使用Hive进行一个简单的数据查询可能要花费几分到几小时,显然不能满足交互式查询的需求。
Presto可以做什么?
Presto支持在线数据查询,包括Hive,Cassandra,关系数据库以及专有数据存储。一条Presto查询可以将多个数据源的数据进行合并,可以跨越整个组织进行分析。
Presto以分析师的需求作为目标,他们期望响应时间小于1秒到几分钟。Presto终结了数据分析的两难选择,要么使用速度快的昂贵的商业方案,要么使用消耗大量硬件的慢速的"免费"方案。
Presto架构
Presto查询引擎是一个Master-Slave的主从架构,Coordinator是主,worker是从。
一个presto集群,由一个Coordinator节点,一个Discovery Server节点(通常内嵌于Coordinator节点中),多个Worker节点组成。其中,Coordinator负责接收查询请求、解析SQL语句、生成执行计划、任务调度给Worker节点执行、worker管理;Worker节点是工作节点,负责实际执行查询任务Task。
Worker节点启动后向Discovery Server服务注册;Coordinator从Discovery Server获得可以正常工作的Worker节点。
presto采取三层表结构:catalog对应某一类数据源,例如hive的数据,或mysql的数据;schema对应mysql中的数据库;table对应mysql中的表。
Presto三大特点
高性能:Presto基于内存计算,减少数据的落盘,计算更快;轻量快速,支持近乎实时的查询;
多数据源:通过配置不同的Connector,Presto可以连接不同的数据源,所以可以将来自不同数据源的表进行连接查询;
扩展性:可以根据实际的需要,开发特定的数据源的Connector,从而可以SQL查询此 数据元 的数据。
关于大数据开发,分布式OLAP查询引擎Presto入门,以上就为大家做了简单的介绍了。在交互式查询领域,Presto可以说是非常代表性的一个产品,在大规模交互式查询式,性能可观。
强大交互生态完善三星GalaxyZFold35G让移动办公创作灵感尽在掌控作为全球排名第一的智能手机厂商,三星一直凭借着不断的科技创新,持续推动着智能手机行业的发展。在折叠屏手机领域,三星既是开创者,又是引领者。经过三年的商用和普及,三星GalaxyZF
苹果或暂停京东方iPhone13屏幕生产果粉之家,专业苹果手机技术研究十年!您身边的苹果专家京东方一直辗转于苹果的旧款iPhone更换所用的OLED面板,但在去年的时候,京东方开始为新款iPhone供应OLED面板,同是
4月骁龙8Gen1机型销量排行榜公布,小米12排名第2,第1名让人意外您在阅读前请点击上面的关注二字,后续会第一时间为您提供更多有价值的相关内容,感谢您的支持。高通骁龙8Gen1处理器是目前安卓手机最强的处理器了,自从骁龙8Gen1处理器发布以后,手
新一轮汽车政策密集出台4月29日,广东发改委网站公布广东省新能源汽车购置补贴活动公告,对个人消费者在省内购买推广车型范围内的新能源汽车新车,并在省内完成机动车注册登记的,补贴8000元辆。五一假期前夕,
Web3。0和元宇宙的未来在哪里?元宇宙(Metaverse)是来自1992年科幻小说雪崩出版物存在的一个术语。在小说中,作者将元宇宙(Metaverse)描述为基于虚拟现实的互联网继任者。这本书设想了一个未来,人
根本做不到30万辆赛力斯4月销量3439台根据小康股份发布的4月份产销快报4月份汽车总销量20040辆,同比下降17。764月新能源汽车销量8552辆,同比增长187。5614月新能源汽车累计销量22752辆,同比增长19
AppleCar最新消息,售价至少66万人民币,或由鸿海代工此前传出消息苹果公司AppleCar电动车团队可能会缩减人手,但据外电3日消息称,苹果电动车开发项目正如火如荼进行中,项目名为ProjectTitan,因为新车将会使用大量钛合金的
如何让私密聊天软件在手机app管理中不显示?在我们的手机中有一个应用软件管理系统,手机上所有的应用程序都可以通过这个地方显示出来并在手机桌面上展示。即使是将软件隐藏起来了,这也只是在手机桌面不显示,在应用程序管理中还是可以找
拓展全球市场火信传媒做传媒机构的引领者随着区块链技术的不断发展,元宇宙NFT等区块链技术成为了国内乃至世界的新宠,在文化产业领域,譬如音乐美术影视旅游等领域更是一马当先积极参与。火信传媒作为集资讯内容媒体文章会议承办培
比特币出现漏洞,手把手带你发起攻击,万一暴富了呢针对所有的支付系统,有一种攻击方式叫作双花攻击。所谓双花攻击就是指一笔资金被花费多次,攻击者先将资金转出,获得收益后通过攻击的手段撤销该笔转账,让资金重新回到攻击者的账户上。那么我
MySQL日志管理日志文件记录MySQL数据库运行期间发生的变化,当数据库遭到意外的损害时,可以通过日志文件查询出错原因,并进行数据恢复MySQL日志文件可以分成以下几类二进制日志记录所有更改数据的