spark有哪些组件?

发布于 2020-01-10 22:27:09
关注者
0
被浏览
739
1 个回答
  • 面试哥
    面试哥 2020-01-10
    为面试而生,有面试问题,就找面试哥。

    (1)master:管理集群和节点,不参与计算。 (2)worker:计算节点,进程本身不参与计算,和master汇报。 (3)Driver:运行程序的main方法,创建spark context对象。 (4)spark context:控制整个application的生命周期,包括dagsheduler和task scheduler等组件。 (5)client:用户提交程序的入口。

知识点
面圈网VIP题库

面圈网VIP题库全新上线,海量真题题库资源。 90大类考试,超10万份考试真题开放下载啦

去下载看看