189 8069 5689

如何进行JobScheduler内幕实现

本篇文章给大家分享的是有关如何进行JobScheduler内幕实现,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。

十多年的广德网站建设经验,针对设计、前端、开发、售后、文案、推广等六对一服务,响应快,48小时及时工作处理。营销型网站的优势是能够根据用户设备显示端的尺寸不同,自动调整广德建站的显示方式,使网站能够适用不同显示终端,在浏览器中调整网站的宽度,无论在任何一种浏览器上浏览网站,都能展现优雅布局与设计,从而大程度地提升浏览体验。创新互联从事“广德网站设计”,“广德网站推广”以来,每个客户项目都认真落实执行。

在spark stream程序中的一条关键的语句就是:ssc.start()

1,跟踪进入StreamingContext的start 方法,有一句非常关键的语句scheduler.start(),是个JobScheduler(spark stream用来job调度的)

进行job调度的入口!

2,计入JobScheduler 的start方法。

如何进行JobScheduler内幕实现

在这个方法中几个关键的点是:

eventLoop.start() 一个事件循环器,用于响应其它组件发来的事件(包括job的启动,完成,以及错误报告)。

如何进行JobScheduler内幕实现receiverTracker.start() 控制了整个receiver的生成,与数据的接受

jobGenerator.start() 真正开始进行job的生成
 

如何进行JobScheduler内幕实现在这个方法中也维护了一个事件处理的循环器eventLoop,用于处理各种事件

如何进行JobScheduler内幕实现其中最为关键的事件是GenerateJobs(time),这个事件是进行生成job的事件!!

跟踪计入generateJobs(time)

如何进行JobScheduler内幕实现

jobScheduler.receiverTracker.allocateBlocksToBatch(time) 为当前的bath分发收到的数据Blocks。

graph.generateJobs(time):根据当前编写的程序的output动作生成相应的job并封装进入集合中。

如何进行JobScheduler内幕实现

最终通过

如何进行JobScheduler内幕实现提交作业到executor

如何进行JobScheduler内幕实现

在回去看看jobGenerator.start()中的startFirstTime()

private def startFirstTime() {

  val startTime = new Time(timer.getStartTime())

  graph.start(startTime - graph.batchDuration)

  timer.start(startTime.milliseconds)

  logInfo("Started JobGenerator at " + startTime)

}

第一次启动会启动一个定时器,该定时器会根基duration bath 不断的的给jobGenerator中的消息循环体!


在jobGenerator中的消息循环体就会不断的去除消息进行处理

如何进行JobScheduler内幕实现

以上就是如何进行JobScheduler内幕实现,小编相信有部分知识点可能是我们日常工作会见到或用到的。希望你能通过这篇文章学到更多知识。更多详情敬请关注创新互联行业资讯频道。


名称栏目:如何进行JobScheduler内幕实现
URL地址:http://cdxtjz.cn/article/jjgpoe.html

其他资讯