大数据进阶之Spark运行流程
在大数据的诸多技术框架当中,Spark发展至今,已经得到了广泛的认可。Hadoop与Spark可以说是企业级数据平台的主流选择,基于不同的应用场景,来搭建符合需求的大数据系统平台。今天我们就来讲讲其中的Spark,Spark核心运行流程。Spark计算模式
Spark是既Hadoop之后提出的又一代计算框架,同样主打离线批处理,但是在Hadoop原生计算引擎MapReduce的基础之上,做到了性能提升10-100倍,从而在Hadoop生态当中,超过了原生的MapReduce,逐步得到重用。
Spark继承了Hadoop MapReduce的特性,是典型的Master/worker架构。这种架构就是把计算任务进行划分,然后进行分配给多个Slave,也就是进行Map,等Slave完成了分配给自己的任务后,然后再Master上进行汇总,也就是Redudce,这就是MapReduce的思想。Spark运行流程
Spark在Master上创建Spark context,创建SparkContext的目的是为了准备Spark应用程序的运行环境。在Spark中由SparkContext负责和ClusterManager通信,进行资源的申请、任务的分配和监控等。
Driver是驱动的意思,也就是整个系统启动之后,整个系统的运转时靠Driver来驱动的,用户自己的作业也是通过Driver来分解和调度运行的。
资源申请后,Spark通常会要求资源管理器在Container中启动自己的Worker,也就是Executor进程,同时启动命令里面会带着Driver的URL地址,方便Executor启动后,向Driver注册自己。
Executor向Driver注册自己之后,大家就相互认识了,就可以互相通信,根据协议进行交互,整个分布式系统也就运行起来了。
Driver和Executor直接通过RPC协议相互联系,Spark历史上内部使用过两种RPC实现,基于Akka Actor的RPC和基于Netty自己封装的RPC。
Executor是具体的执行者,Executor拿到属于自己的Task后,运行出结果,然后把结果汇报给Driver。
Driver和Executors都运行自己的Java进程,可以在同一台机器上,也可以在不同的机器上。Spark资源管理
而关于资源管理器,有多种选择。可以是Spark自己实现的资源管理器,standalone模式,也可以采用一些比较通用的资源管理器,比如Yarn和Mesos,这也是为什么有说法,Spark可以自己独立运行,也可以与Hadoop集成协同。
关于大数据进阶之Spark运行流程,相信看完今天的分享内容,大家也都能够有比较清楚的认识了。Spark是大数据当中必须掌握的核心技术框架,对于运行原理、架构设计等,都需要牢牢掌握,熟练运用才行。
联想Z5s1398元惊喜起售,Z5Pro855版12GB内存惊世降临12月18日,联想在北京全球总部园区举办手机新品发布会,实力悍将联想Z5s震撼亮相,售价仅1398元起。联想Z5ProGT855版搭配12GB超大内存惊世降临,搭配骁龙660处理器
LED灯杆屏的5G民生作用将至已至众所周知,目前作为城市发展不可或缺的基础设施,智慧灯杆已经具备供电联网广布等特点。不但可以作为数据的采集端,也可以作为数据终端,整合监控摄像头5G微基站安全报警等硬件,通过信息感知
鸳鸯锅妙用很多冬季和好兄弟们搭个伙,把食材备一桌,来顿热气腾腾的火锅,真是再舒服不过。不用开火,也不用下厨忙活。人多,凑一窝,唠唠嗑吃吃火锅,再冷也不哆嗦。都知道鸳鸯锅适合吃火锅清汤和无辣不欢都
你能想象有一天靠衣服就能给手机充电吗?今天复旦团队实现了看过钢铁侠的你,一定有过这样的梦想,有一天能够像钢铁侠一样,按一下胸前的按钮,就能身披铠甲,拯救世界。不要以为这只是科幻,在科技前沿领域,这种可穿戴的智能铠甲早已提上日程。随着现代
雷佳音说错英文,原来极限挑战里深藏各种捧腹彩蛋极限挑战第七季第一期播出后,很多人都在极限男团之间的互动之中感受到了彼此的亲密和团魂。当然,雷佳音岳云鹏王迅贾乃亮郭京飞邓伦已经一同走过12期的挑战征程,而新加入的黄明昊也凭借自己
撬装加油站被查封的原因?前几天我接到这样的咨询,他问我做撬装加油站一定需要审批吗?还得审批就太麻烦了!有没有其他不用审批的方法?当时我就认定这个客户他就是想买撬装加油站(企业加油站)做擦边球经营,所以告诉
联通三千兆来袭,打造全场景极速网络方案以匠心致未来互联网时代背景下,网络如同信息传输的血脉,其重要性不言而喻。相信不少人都有过类似经历,家里的WiFi信号时断时续,追剧经常被加载中断办公室带宽总不够用,传输文件慢,视频
人类高质量人才求职不把薪水放在第一位综编新经济沸点你知道吗?职场上有一个人群叫高值人才,一般是指年薪在30w,具有较好的工作经历和职业发展潜力,是企业在猎取中高端人才时的重点考虑对象。工作是为了实现自我一位在IBM工
抢不到仅500套的小米MIX4三体联名礼盒限量款,直接买也很香前段时间小米发了小米MIX4,配置很香,关注度也很高。更有意思的是,小米还推出了小米MIX4三体联名礼盒限量款,很有纪念意义。这个小米MIX4三体联名礼盒限量款除了主角小米MIX4
魅族16系列手机全线降价,比双十一更值得买,网友太突然了!魅族16开售很长一段时间都是缺货状态,前不久刚刚敞开了销售,今天魅族科技突然公布魅族16系列全线降价,这让很多网友都大呼意外!魅族16th664GB版售价2498元,6128GB版
荣耀50Pro体验轻薄时尚机身,影像能力更加强大荣耀的数字系列终于发布了!这是荣耀独立后数字系列的首次更新,我第一时间拿到手机后快速的体验了几天,发现这款手机还是有很多地方值得聊聊的。包装还是延续了以往白色的简洁风,配件也是熟悉