首页 运维干货软件定义存储服务( SDSS)

软件定义存储服务( SDSS)

运维派隶属马哥教育旗下专业运维社区,是国内成立最早的IT运维技术社区,欢迎关注公众号:yunweipai
领取学习更多免费Linux云计算、Python、Docker、K8s教程关注公众号:马哥linux运维

我们的云计算资源池是从2011年开始建设,承载了很多核心业务平台。为了防止“鸡蛋放在一个篮子里”,2013年建成了超远距离双活的资源池体系。但是,配置效率、资源灵活性、扩展性等问题是资源池发展的瓶颈。2013年我们在资源池内部署了SDN,并提出了基于X86服务器+SATA硬盘+软件定义的分布式存储设想,并和厂商成立联合实验室,研究和测试SDS。2014年正式商用SDN和SDS,也是业界首个商用的SDS。目前资源池内有10000多台的虚拟机,运行了600多个业务平台,有软件定义的SRVSAN存储7P,其中块存储4.5P,对象存储2.5P。2015年根据业务需求,我们自己开发了全面实现软件定义的管理平台,建立起软件定义、双活、“内外一朵云”的用户自定义云计算资源池体系。但是近2年的实践,软件定义,特别是软件定义存储还存在很高的门槛,需要解决。

为什么要SDx

由于计算资源的大量闲置,导致了计算虚拟化成为一个迫切的需要。但是计算虚拟化仅仅解决了通过软件定义计算能力,但是网络和存储并没有真正实现“虚拟化”,只是通过“共享”物理设备来实现云计算资源池对这些资源的需求。共享的物理设备必定会导致配置集中、复杂、自动化程度低、门槛高等问题;物理网络、设备无法和已经虚拟化的计算资源形成一张完整的拓扑架构,导致维护困难;受到硬件设备的限制,不能快速响应资源池对网络和存储的快速需要,缺乏线性扩容的能力;最关键的只能由不熟悉应用的资源池系统管理员和不熟悉资源池的应用方不断磨合导致配置时间长、响应时间长,双方都不满意。在实际生产中发现:网络的配置是资源池配置的瓶颈、而存储的却是一个难点。资源池需要通过软件来定义网络、软件定义存储,重新构建一张虚拟的网络和虚拟的存储。

软件定义

软件定义流程就是先将物理资源抽象和虚拟化,提高资源的利用率;然后在将抽象的网元进一步标准和服务化,降低技术门槛;再进行简化和自动化,简化配置流程提高配置准确性,通过工作流实现各种管理和配置;最后阶段实现动态优化混合IT,真正实现资源的按需分配。目前只能实现前3步,最后一步动态调整还在不断的积累和探索中。

软件定义

软件定义是为了实现随选网络、敏捷开通,降低配置门槛,可以让“使用者”到“资源超市”根据需求选择各种资源,并自己构建出一张独特的应用拓扑。网络是主线,串联的是相对不变的计算和存储资源。计算资源被虚拟化以后就是vCPU和内存的组合。而存储一直被厂商“垄断”,很神秘却又特别简单,导致绝大部分人对存储的主要理解是“容量”,配置的主要属性也就是“容量”。实际上资源池最浪费、最不按需分配的就是存储。用户不知道怎么选择不同类型的存储;不理解存储性能的指标,对于存储的需求,越大越好,性能越快越好。资源池内存储的建设成本在资源池中其实最高,花的代价也最大。

SDN解决网络瓶颈

资源池配置的瓶颈是网络,对一个熟练的系统配置员,可以几分钟完成计算资源和存储资源的配置,但网络的配置平均需要2周,主要时间用来和应用方的沟通和磨合,将应用开发者的语言翻译成为网络拓扑。实际上网络知识已经普及,门槛已经不高,大部分人都能理解网络的基本知识。软件定义网络主要解决的使用者快速配置的问题:

1、给用户一张可以随心所欲定制的独立网络;

2、让虚拟的网络资源从物理设备上抽象出来,成为一个一个独立的、可以简单图形化配置的网元。

资源池的SDN

SDN

主要采用“叠加网络”。用VXLAN构建一张既共享又独立的网络,用户可以最大限度的配置网络;根据不同的网络功能,抽象出虚拟交换机、虚拟路由器、虚拟防火墙、虚拟负载均衡、虚拟的防病毒和沟通虚拟网络和物理网络的边界网关,让用户选择、组合。

所以,SDN是通过抽象成为“网元”来解决资源池的瓶颈。

SDS解决存储本身的难题

资源池内的存储是一个共享的存储,从网络架构上来个是资源池内唯一一个存在“单点”故障的设备。虚拟机都共享存储。存储出现故障,就会导致资源池整体发生故障,所以存储的可靠性、安全性要求进一步提高;从容量和性能上需要同时承接多系统的并发,要求也进一步提高。所以采用X86服务器为基础,通过存储软件来构建的分布式存储能满足资源池对存储的需要。同时考虑实际的性能需要和成本,采用SSD作为缓存+SATA作为持久化数据层就能满足绝大多数的需要。目前所定义的“软件定义存储”,解决的是存储本省的问题:撩开了存储的神秘面纱,用最常用的硬件,熟悉的操作系统和软件定义出一个存储。降低的是存储维护的门槛,对用户来说和传统存储没有差别。但是我们要解决的根本问题是解决用户对存储的使用问题,SDS远远没有达到要求。

SDSS解决存储的难题

对于资源的使用者,光SDS的远远不够的,对于他们来说,软件定义以后的存储和原来的存储根本也没有区别。当然从侧面也说明了SDS的分布式存储取得了巨大的成功,可以替代传统的中高端存储了。对于使用者说“raid”、“io”、“IOPS”、“QoS”、“快照”、“文件系统”、“EC”、“副本”等技术名词是很难理解,对于“文件存储”、“对象存储”、“块存储”也区分不出来使用场景的不同。所以我们需要把存储绕过技术层面直接抽象成为“存储服务”,让用户来选择服务就容易多了。这种抽象可以通过在原有各种存储的基础上增加“控制器”来实现,也可以通过存储本身的整合提供台“统一存储服务”来实现。将存储进一步虚拟化、存储服务化、服务普遍化、网络融合化来真实降低使用者的门槛、实现存储的按需分配和快速配置,从而大幅度的降低存储成本。

存储成本

基于控制器的软件定义存储服务

定义存储服务

基于统一存储的软件定义存储服务

软件定义存储服务

分析目前资源池内对存储的需求,主要是虚拟机的磁盘、虚拟机的共享存储、视频存储、图片存储、文件存储、视频监控和大数据存储等7个维度;结合对存储的要求,如可靠性、安全性、成本、容量和性能;再结合存储原生的创建、挂载、销毁、备份、快照、扩容、操作等基本操作,通过“存储控制器”来提供存储的基础存储服务和增值存储服务,进而结合计算和网络构建一个快速、按需分配的软件定义的资源池体系。

存储服务

存储的基础服务主要是提供基础API接口,可以让“控制器”结合工作流进一步的封装,并图形化使用,从而屏蔽技术难点。

存储的增值服务是存储“加”,概念和目前流行的“互联网加”一样。比如对象存储+全球眼就可以提供视频监控存储服务;文件存储+备份供给提供备份存储服务;块存储+数据库成为数据库存储服务等等。还可以结合各种网络、计算资源提供如内容分发、异地双活、图片处理、大数据等服务。

文章出处:顾炯的云世界(订阅号ID:gujiongcloud)

本文链接:https://www.yunweipai.com/10015.html

网友评论comments

发表回复

您的电子邮箱地址不会被公开。

暂无评论

Copyright © 2012-2022 YUNWEIPAI.COM - 运维派 京ICP备16064699号-6
扫二维码
扫二维码
返回顶部