为什么闪存对象存储将成主流

来源:DOIT传媒 发布时间:2020-03-14 23:23:38 阅读量:85

四年前,Pure Storage率先在业内推出了闪存对象存储方案——FlashaBlade,如今,闪存对象存储渐渐成为主流,市场上有六家厂商在倡导这一概念。



自从1998年由Paul Carpentier和Jan van Riel在FilePool设计出第一个内容寻址系统(CAS)以来,对象存储一直是以低性能、存储海量数据为主要特征。(EMC于2001年收购了FilePool)


市场上,包括Amplidata, Bycast, CleverSafe, Cloudian, Scality等在内初创公司都曾经在做对象存储,不过,后来大都被大厂给收购了,HGST收购了Amplidata,NetApp收购了Bycast,IBM收购了Cleversafe。


对象存储是文件和块存储之外的第三种存储,主要是面向非结构化数据的,在扩展性,灵活性等方面优势非常明显。


一般来说,对象存储都是用的磁盘介质,靠横向扩展的节点组成的,一般都不用闪存,PureStorage在2016年打破了这个局面,此后不久,又有NetApp的StorageGRID也推出了闪存对象存储方案。


存储行业的人都比较保守,很少有人做太多“出格”的事儿。一般而言,磁盘比闪存要便宜的多,而且对象存储对性能的要求通常都比较低,不过,事情正在起变化,像机器学习这种就需要快速访问成百上千的数据片段,对象存储是比较合适的方案,之所以这么说是因为:


  • 大家都普遍遵循S3对象存储标准


  • 对象存储中可以添加文件存储网关


  • 可使用全闪硬件配置,


  • 从根本上改变了对象存储软件堆栈,


  • 边缘侧机器学习的兴起;


我们来看看MinIO,OpenIO, NetApp, Pure Storage, Scality和Stellus在对象存储方面有哪些创新?



Minio



MinIO开源的对象存储软件的速度非常快,公布的许多基准测试数据都能证明这点。


比如它比Hadoop要快;比如在AWS上运行的一个MinIO的demo显示,使用了NVMe SSD之后,实测读取带宽超1.4Tbit/s。


MinIO的应用生态现在也比较强大。比如面向Infinidat等厂商开放了一个NAS网关;VMware正在考虑使用MinIO软件为Kubernetes pod提供存储服务;Nutanix的Bucket对象存储使用了MinIO S3适配器;


同类型的企业中,MinIO的知名度算比较高的。



OpenIO



OpenIO拿出了业内第一个写速度超过1Tbit/s的对象存储服务,高达1.372Tbit/s (171.5GB/sec),这比日立Vantara的高端VSP 5500系列的148GB/s还快,不过,比Dell EMC的PowerMax 8000的350GB/s还差不少。


OpenIO用SSD管理元数据,用磁盘存放普通对象数据。OpenIO表示,数据层、元数据层、S3访问层都能实现线性扩展,而且有负载均衡技术来应对热点节点问题。




NetApp StorageGRID


2019年,NetApp发布了全闪的StorageGRID SGF6024,它面向大量小对象需要高并发访问的存储场景



NetApp StorageGRID软件负责人表示,SGF6024的软件堆栈做了很大调整,而且,还有进一步改进的空间。现在系统效率提高了很多,系统在磁盘寻道时间就能完成这些操作。



Pure Storage FlashBlade


FlashBlade的发布非常具有突破性,FlashBlade是一个分布式的对象存储系统,采用的是专有硬件和闪存盘,一开始就支持NFS v3,现在还支持CIFS和S3,提供最高85GB/s的性能。



Pure Storage的FlashBlade主要面向AI,机器学习和实时分析型应用,PureStorage还宣称FlashBlade在NAS里管理非结构化数据的能力比较强,FlashBlade将NAS访问层包装在其对象服务当中。



Scality


Scality是一家典型的对象存储供厂商,它在边缘计算领域有着广阔的应用前景。


Scality认为边缘场景中使用基于闪存的对象存储特别合适,比如获取来自手机、物联网设备以及别的设备产生的各种数据,日志,传感器数据,流数据,图像和视频数据什么的。



Stellus


Stellus Technologies推出了一个可扩展的高性能文件存储系统,这是一个全闪存的,KV软件存储方案。KV存储是一种特殊的对象存储,它的元数据与对象的键(标识符)没有分离。


对象存储通常包含一个对象,还有标识符(标识符指的是内容地址或者键),以及描述对象数据属性的元数据。对象存储可以通过元数据来索引和搜索对象,而KV存储只能通过键来搜索。


通常一个KV存储只能存放少量数据,而对象存储存储PB级别的数据。Stellus脑洞打开,做了很多个KV存储,它在每个SSD里最多能放4个,每个服务器节点里就能放置更多KV存储。


Stellus这种在每个硬盘里放置多个KV存储的方案,结合上NVMeoF方案后,向外提供高性能并行访问能力,性能能与全闪存比肩。


结语


加速对象存储的方法主要有两种。


一种是将闪存硬件与经过优化的软件结合使用,也就是所谓软硬一体,比如NetApp和Pure Storage就是这种套路。另一种是依靠经过优化的软件,纯软方案,比如,MinIO和OpenIO就是这条路线。


Stellus结合了这两种方法,使用了闪存硬件和基于新的KV存储的软件堆栈,而不是完整的对象存储。


Scality瞄准的是基于全闪存的对象存储方案这一新趋势,但并没有很好的发挥出价值,著名企业级存储媒体人Chris Mellor建议Scality与硬件厂商合作,开发一个针对边缘场景的,精简优化版的闪存对象存储方案。


Chris Mellor认为,Cloudian、Dell EMC(ECS),日立Vantara,IBM和昆腾等厂商很快也会意识到需要开发闪存对象存储了,眼看着QLC又一次拉低了闪存的成本,而MinIO、OpenIO和Stellus在软件方面的优化创新也是值得学习的。


我们有理由认为,基于闪存的对象存储可能是接下来存储圈的又一个热点吧

****************************************************************************************************************************************************************感谢对胖大牛的支持,本站致力于无偿分享IT产品与行业信息。部分文章未能与原作者取得联系,若涉及版权问题,烦请原作者联系我们修改或删除。
支付宝打赏 微信打赏

  Popular Tags

胖大牛-只为您的技术服务 张博 手机&微信:18521097376 邮箱:zb@109du.com 同时感谢Catfish提供源代码 GPU服务器:贝亘鑫
沪ICP备19040636号-1
Catfish(鲶鱼) Blog V 2.3.12