flink-start

Flink作业提交过程

Flink作业提交过程

Master和TaskManager在作业提交前启动(bin/start-cluster.sh),TaskManager将自己注册给Master中的ResourceManager,初始化和资源注册过程发生在作业提交前,称之为第0步。

flinkstart

1.用户通过Flink客户端Clien提交作业,调用API构建数据流图,代码和配置编译打包,提交Master的Dispatcher,形成一个应用Application;

2.Dispatcher接收作业,启动JobManager,负责本次作业的各项协调工作;

3.JobManager向ResourceManager申请本次作业所需资源;

4.闲置TaskManager会被反馈给JobManager;

5.JobManager将逻辑视图转化为并行的物理执行图,将计算任务分发部署到多个TaskManager上,任务开始执行;