1)一个Spark作业运行时包括一个Driver进程,也是作业的主进程,具有main函数,并且有SparkContext的实例,是程序的人口点;
2)功能:负责向集群申请资源,向master注册信息,负责了作业的调度,,负责作业的解析、生成Stage并调度Task到Executor上。包括DAGScheduler,TaskScheduler。
上一题:spark有哪些组件?
标签: 作业、driver、调度、spark、进程
笔试题
刷题
简历模板
AI算法
大数据
内推
内推: