Hive QL 执行流程

(1) 解释器完成词法、语法和语义的分析以及中间代码生成,最终转换成抽象语法树;

(2) 编译器将语法树编译为逻辑执行计划;

(3) 逻辑层优化器对逻辑执行计划进行优化,由于Hive最终生成的MapReduce任务中,Map阶段和Reduce阶段均由OperatorTree组成,所以大部分逻辑层优化器通过变换OperatorTree,合并操作符,达到减少MapReduce Job和减少shuffle数据量的目的;

(4) 物理层优化器进行MapReduce任务的变换,生成最终的物理执行计划;

(5) 执行器调用底层的运行框架执行最终的物理执行计划。


标签: operatortree、计划、mapreduce、语法、变换、面试
  • 回复
隐藏