189 8069 5689

Storm基本知识总结-创新互联

Storm是一个开源的分布式实时计算系统,可以简单、可靠的处理大量的数据流。Storm的部署和运维都很便捷,而且更为重要的是可以使用任意编程语言来开发应用。

成都创新互联公司,为您提供成都网站建设成都网站制作、网站营销推广、网站开发设计,对服务成都展览展示等多个行业拥有丰富的网站建设及推广经验。成都创新互联公司网站建设公司成立于2013年,提供专业网站制作报价服务,我们深知市场的竞争激烈,认真对待每位客户,为客户提供赏心悦目的作品。 与客户共同发展进步,是我们永远的责任!

storm:实时计算系统

      低延迟,高性能,分布式,可扩展,容错

特点:简单编程模型,热部署,各种编程语言,可扩展,容错,可靠消息处理,快速,本地模式

storm基本概念:

    Nimbus:负责资源分配和任务调度

    Supervisor:负责接受nimbus分配的任务,启动和停止属于自己管理的worker进程

    Worker:运行具体处理组件逻辑的进程

    Task:worker中每一个spout/bolt的线程称为一个task,在storm0.8后,task不在与物理线程对应,同一个spout/bolt的task可能会共享一个物理线程,该线程称为executor

    Topology:storm中运行的一个实时的应用程序,因为各个组件间的消息流动形成逻辑上的一个拓扑结构

    Spout:在一个topology中产生源数据的组件。通常情况下spout会从外部数据源中读取数据,然后转换为topology的内部的源数据。spout是一个主动的角色,其接口中有一个nextTuple()的函数。storm框架会不停的调用此函数,用户只要在其中生成源数据即可。

    Bolt:在一个topology中接受数据然后执行处理的组件。Bolt可以执行过滤、函数操作、合并、写数据库等任何操作。Bolt是一个被动的角色,其接口中有个execute(Tupleinput)函数,在接受到消息后会调用此函数,用户可以在其中执行自己想要的操作。

    Tuple:一次消息传递的基本单元。本来应该是一个key-value的map,但是由于各个组件间的传递的tuple的字段名称已经事先定义好,所以Tuple中只要按序填入各个value就行了,是一个valueList。

    Stream:源源不断传递的Tuple就组成了stream.

Strom使用场景:

1.流聚合:把两个或者多个数据流聚合成一个数据流-基于一些共同的tuple字段。

2.批处理:为了性能或者一些别的原因,把一组tuple一起处理,而不是一个一个的单独处理。

3.BasicBolt

a.读一个输入的tuple

b.根据一个输入tuple发射一个或多个tuple

c.在execute的方法的最后ack那个输入tuple遵循这类模式的bolt一般是函数或者是过滤器,这种模式太常见,storm为这类模式单独封装了一个接口:IbasicBolt

d.内存内缓存+Fields grouping组合

e.据算topN

f.用TimeCacheMap来高效的保存一个最近被更新对象的缓存

g.分布式RPC

storm分组机制

1.随机分组(Shuffle grouping)

2.字段分组(Fields grouping)

3.全部分组(All grouping)

4.全局分组(Global grouping)

5.无分组(None grouping)

6.直接分组(Direct grouping)

7.实现CustomStreamGrouping接口来定义自己的分组

另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


网页标题:Storm基本知识总结-创新互联
当前地址:http://cdxtjz.cn/article/eecpj.html

其他资讯