189 8069 5689

如何以ScaleIO为例分析SERVERSAN的部署

这期内容当中小编将会给大家带来有关如何以ScaleIO为例分析SERVER SAN的部署,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。

公司主营业务:成都网站设计、网站建设、移动网站开发等业务。帮助企业客户真正实现互联网宣传,提高企业的竞争能力。创新互联建站是一支青春激扬、勤奋敬业、活力青春激扬、勤奋敬业、活力澎湃、和谐高效的团队。公司秉承以“开放、自由、严谨、自律”为核心的企业文化,感谢他们对我们的高要求,感谢他们从不同领域给我们带来的挑战,让我们激情的团队有机会用头脑与智慧不断的给客户带来惊喜。创新互联建站推出玉环免费做网站回馈大家。

前言

支持iSCSI的SERVER SAN有全闪存阵列厂商SolidFire(也支持纯软件部署),还有我们前面分享过的Zadara Storage。其实采用iSCSI的Scale-out SAN,其节点一般都不能太多,因为iSCSI支持分布式难度很大,比如NetApp是8个,华为/EMC的高端存储是16个,富士通高端可以做到24个,SolidFire号称可以做到100个。但EMC ScaleIO可以扩展到1024个,华为FusionStorage可以支持4K个。也就是从工业实现的角度看,支持1000个节点以上的SERVER SAN,基本都需要靠专用的客户端来提供块服务,而不能依赖标准的iSCSI协议了。

网络拓扑

网络的部署,首先要考虑拓扑。SERVER SAN的网络拓扑分两种,一种是扁平网络(Flat),一种是叶刺网络(Leaf-Spine),也就是有骨干和分支的。

一般小规模部署采用扁平网络,而大规模的部署采用Leaf-Spine网络。部署的时候除了考虑节点规模外,还需要考虑未来的扩展,如果超融合部署还需要考虑应用的带宽,还有安全性,比如客户端来自不信任域,需要考虑把SDC和SDS隔离开来。

Leaf-Spine是一种两层架构,是传统三层网络的另类实现。每一个Leaf交换机都需要连接到所有的Spine交换机,但Leaf交换机和Spine交换机之间并不互连。Leaf交换机控制服务器之间的流量,而Spine交换机移动L2节点间的流量。

大多数情况,EMC建议采用Leaf-Spine拓扑,这是因为:

  • ScaleIO可以扩展到几百个节点;

  • Leaf-Spine面向未来,以后扩展无需重新调整网络;

  • 规划正确可以实现无阻塞交换;

  • 使用的连接有一样的带宽;

  • 可预测的时延;

  • 更高的可用性和性能。

但扁平网络也不是不可以用,特别是在一些分支机构和中小企业,足够了。采用扁平网络建议最多4台交换机,EMC建议的拓扑如下图,并没有采用全网状连接,这样可以节省一些端口。如果超过4台交换机,那么还是采用Leaf-Spine网络好了。

网络性能

选好网络拓扑,性能的规划就是最重要的了。

EMC建议在网络初始配置的时候,采用交换机的缺省设置,先不要启用巨帧、流控和链路聚合这些高级特性。只有确认网络上的设备都支持这些特性后,再慢慢启用,否则调试起来会反复,效率不高。

大家知道元数据服务MDM是整个系统的控制中心,EMC建议SDS到MDM的通讯时延(采用ping可以测试)要小于1ms。

需要计算的部分主要是网络的带宽。网络的带宽,需要考虑很多因素:

  • 重构时间。一个节点失效,重构的时间;

  • 重平衡的时间。新增和删除节点,数据重新平衡分布的时间;

  • 硬盘的能力和性能;

  • 应用的性能期望,带宽、时延、IOPS等。

不管怎么算,1Gbps的带宽明显是不够的,因此,万兆网络是必须的。那么,怎么计算每个节点需要多少个万兆网卡呢?

如果你把一个节点当成一个存储系统,硬盘的总带宽当成后端的带宽,万兆网卡的总带宽当成前端的总带宽。从系统角度,如果前端总带宽和后端总带宽相当,那么这个存储系统就没有瓶颈。

为了更好理解,提供两个估算的例子。

例子1:

某节点一个有10个HDD,每个HDD的持续带宽是100MB/s。因此后端总带宽就是1000MB/s。大约相当于1块万兆网卡的性能,考虑冗余,因此配置2块万兆网卡是比较合适的。

例子2:

如果这个节点有6个SSD,每个SSD的持续带宽是450MB/s(我理解应该按照最大值,即读带宽算)。那么后端系统总带宽就是2700MB/s,配置3块万兆网卡(我理解指3个线速的万兆端口,具体物理上是两块2端口的和三块1端口的都行)就比较合适。

也就是说,为了可靠性,最少配置2块物理网卡(不同槽位提高可靠性)。但具体使用多少个给万兆端口,还需要估算一下。一般服务器节点的硬盘槽位是12个,如果用HDD,2个万兆口基本够用,但如果用SSD,可能需要4个以上。但有些高密网卡,可能不能所有端口都跑满,这个就需要更多的物理网卡了。

要注意以上只是存储I/O本身的带宽要求,如果你要采用超融合部署,还需要考虑应用的带宽。

EMC最佳实践还建议隔离前端(SDC-SDS)和后端(SDS-SDS)流量,这样可能需要更多的网卡或者端口。比如4块网卡,2块跑纵向流量,2块跑横向流量。ScaleIO每个节点最大支持8个网络。

为了更好性能,EMC还建议交换机接入端口采用缺省配置,ScaleIO的流量不要启用VLAN tagging(这个应该指NIC收到的报文都是不带VLAN ID的)。

至于巨帧(Jumbo Frames)的使用,EMC建议等网络部署完成后启用。如果网络都支持,而且典型的写大小超过1500字节,启用巨帧功能还是可以提高性能的(一般文件系统的读写都是4K,8K吧,因此,大部分情况应该符合这个条件)。

至于流控,一般建议性能调优阶段启用。流控分全局流控和优先级流控(Priority Flow Control,DCB/PFC,只针对特定流量,需要交换机和NIC支持)。有些情况下可能用不了流控,比如超融合部署不适宜使用全局流控(因为不仅仅有ScaleIO流量),如果存储部分有专用的物理网络可能也不需要流控。

至于链路聚合,如果网络支持,建议启用,性能和可靠性都会更好。

如果交换机支持teaming/bonding,尽量采用动态链路检测(不要用静态LACP配置),并且配置更短的定时器来进行更快的故障切换。

上述就是小编为大家分享的如何以ScaleIO为例分析SERVER SAN的部署了,如果刚好有类似的疑惑,不妨参照上述分析进行理解。如果想知道更多相关知识,欢迎关注创新互联行业资讯频道。


分享标题:如何以ScaleIO为例分析SERVERSAN的部署
分享路径:http://cdxtjz.cn/article/jeeepe.html

其他资讯