储存月报第9期:失灵的储存效能指标SPC
2017-02-06 03:52:01 | 来源:ithome | 投稿:莹莹 | 编辑:dations

原标题:储存月报第9期:失灵的储存效能指标SPC

非营利组织的储存效能理事会(Storage Performance Council,SPC)所提出的测试标準,特别是针对随机IOPS效能的SPC-1测试,一直是储存业界衡量产品效能的基準,主要的储存大厂如EMC、NetApp、Dell、HPE、HDS,以至中国的华为,与国内的普安等,都曾让旗下储存产品参与SPC测试,并以取得的测试结果,来标榜自身产品的效能或效能/价格比特性。而这也让SPC-1成为一个跨厂牌、直接比较不同产品效能表现的公认指标。

SPC-1的成功可以归因于这几点:

●测试规範相对严谨与公平,不仅测试程序相对能避免一些特意冲高数值的手段,测试模型也接近主流的交易型工作负载,足以作为现实应用环境的参考。

●在企业储存领域,尤其是区块型储存应用,没有其它具备足够公信力、业内公认的测试基準与SPC竞争。

●前面两点造成SPC一家独大,成为企业区块储存产品效能的权威比较基準,一些厂商在採购储存设备时,甚至将SPC测试表现列入招标规格,导致储存厂商不得不参与SPC测试,于是这也进一步扩大了SPC的影响力。

但过去一年多以来,随着一些产品在SPC-1测试中缔造了让人难以置信的惊人成绩,但使用的测试架构却存在疑虑,以致储存业界出现了对 SPC-1测试架构合理性与防弊机制的质疑。

渐进提高的SPC-1成绩

随着技术的进步,各厂商储存产品的SPC-1成绩也随之攀高,举例来说,在2012年以前,只有Kaminario的K2D能在SPC-1中取得100万以上IOPS的成绩,而到了2017年初的现在,至少有6款产品在SPC-1测试中,拥有超过100万IOPS的表现。

就一个较长的时段来看,各厂商的SPC-1测试数值随着时间而有显着进步,但就同世代、同等级的产品来说,彼此间的SPC-1效能表现固然会有差距,但落差并不会太大,除非遇到储存技术架构的根本性变革,否则SPC-1的纪录更新总是渐进的,不会有一次提高几倍的大幅度进步。

上一次SPC-1出现大幅度跨越的纪录更新,正是发生在固态储存产品开始成熟的时期,在2012~2013年间,Kaminario先后以基于DRAM的K2D,与基于Flash记忆体的K2两款固态储存阵列产品,率先在SPC-1测试中突破了100万IOPS纪录。在此之前,SPC-1测试纪录的领先者均属于传统硬碟式储存阵列,达到的成绩不过只有40~50万IOPS,而Kaminario则一举将纪录提高了2倍以上。

继2012~2013年的效能大突破后,接下来的3、4年间,SPC-1的最高纪录排行榜成了固态储存阵列的天下,最高纪录也逐渐成长到200万IOPS左右,HPE的XP7与HDS的VSP G1000等两款产品,都在2015年先后达到了200万IOPS的SPC-1测试表现。

不过到了2016年时,短短一年时间内,SPC-1测试成绩又出现了成倍的跨越式进步,DataCore的平行架构储存伺服器,创造了惊人的512万IOPS纪录。

DataCore异军突起,缔造惊人增长的测试成绩

2016年是SPC-1测试史上值得注记的一年,先是华为OceanStor 18800 v3缔造了300万IOPS的新纪录(测试编号A00163),但保持了不到半年,在同年就被DataCore以512万IOPS所刷新(测试编号A00179)。

DataCore所创造的SPC-1佳绩,让人讶异的有这两点:

首先,是512万IOPS这个惊人数值,这堪称SPC-1史上最大幅度的纪录更新,比一年前最高的200万IOPS纪录足足提高了2.5倍。如同前面提到的,上一次SPC-1纪录有这种幅度的进步,是依靠固态储存技术带来的革命,但这一次,却是发生在储存技术与架构没有出现革命性进展的情况下。

其次,是DataCore只投入非常少的硬体资源,就创造了超过500万IOPS的成绩。

华为所达到的300万IOPS表现虽然也相当惊人,不过这是投入了极庞大资源的成果—一共投入了16台控制器与512台SSD,以这种空前高档的硬体组态,获得极高的SPC-1测试数值,可说是理所当然的结果。

但DataCore只投入2台安装SANsymphony软体、作为储存控制器的伺服器,加上4台外接的SAS JBOD磁碟柜,一共72台SSD的规格,就在SPC-1测试中达到超过500万IOPS的成绩。

由于DataCore透过SANsymphony软体的储存架构,只需极少资源就能达到极高的效能表现,所以,他们同时在SPC另一项测试——以每单位IOPS成本为基準的性能价格比测试,也创造了新纪录。

原本Dell曾在2015年初时,以SC4020创造了SPC-1性能价格比新纪录,每IOPS只需0.37美元。稍后国内的普安公司,则在2015年中以EonStor DS3024B将这个纪录更新到每IOPS 0.24美元。但DataCore在2016年初,以搭载SANsymphony软体的储存伺服器,进行的一项SPC-1测试(测试编号A00164),得到每IOPS只需0.08美元的惊人性能价格比纪录,一口气就将数值拉低了3倍。

?

SPC-1效能测试Top 10排行榜

DataCore以512万IOPS高居榜首,遥遥领先其他受测者,但造成争议之处在于,DataCore的测试架构存有疑虑。

资料来源:SPC

?

SPC-1性能价格比测试Top 10排行榜

目前已有两家台湾厂商捷鼎(Accelstor)与普安(Infortrend),登上了这个排行榜。不过占据第1的DataCore与第3名的Accelsoor,都是以单控制器组态执行测试,其余厂商则都是双控制器,这样直接对比成本有些不公平。

资料来源:SPC

?

令人质疑的测试架构

DataCore在SPC-1测试中的惊人表现,也引发了外界一连串对其测试架构的议论,认为其中恐有取巧之虞。

对500万IOPS测试成绩的质疑

DataCore只用了2台控制器(执行SANsymphony软体的伺服器)与72台SSD,就得到比华为动用16台控制器与512台SSD还高出60%的500万IOPS效能表现,这样惊人的成果,DataCore CEO宣称是他们启用了所谓的平行处理技术所致,但外界怀疑DataCore的测试架构另有玄机,存在这几个疑点:

●极度依靠写入快取来拉高效能

DataCore在SCP-1测试中使用的伺服器,搭载了高达1.5TB的DRAM记忆体,其中SANsymphony软体使用了1.25TB,而且从其极低的回应时间表现来看(仅0.3ms左右),外界质疑写入I/O都是由DRAM快取承担,没有实际落入底层SSD。

但太过依赖DRAM作为写入快取,但这在实际环境中会带来资料可用性方面的问题。DataCore的SPC-1测试架构中,虽然纳入了UPS,来确保断电时维持DRAM资料的可用性,但如果遭遇的是UPS失效这种意外,这种架构便不可行了。

●牺牲资料一致性与可用性

怀疑者们认为,DataCore之所以能有500万这样高的IOPS数值,一个原因是省略了在2台控制器之间进行快取镜像,没有跨节点的资料保护能力。这样的架构,将能省略在两台控制器之间进行大量的内部传输工作,从而拉高IOPS效能,但这在讲究可用性的实际环境中,是不可接受的。

实际上,DataCore还有另一份採用了HA高可用架构的SPC-1测试(测试编号A00178),显示DataCore若和正规储存阵列一样,採取双控制器镜像架构,他们的IOPS表现便只有120万,虽然也是相当不错的数字,但与500万IOPS相比,就不那样让人震撼了。

DataCore的SPC-1 500万IOPS测试架构

DataCore以这个架构,在SPC-1测试中缔造了空前的512万IOPS成绩(测试编号A00179),而且只使用了2台执行SANsymphony软体的Xeon E5伺服器、4台外接JBOD磁碟柜与72台SSD,相较下,位居第2名的华为,在SPC-1测试中耗用了16组控制器与512台SSD,得到的成绩不过是300万IOPS。

但怀疑者批评DataCore这个测试架构,恐怕是极度依靠写入快取来拉高效能,2台充当储存控制器的Xeon E5伺服器分别配置了多达1.5TB的记忆体,并启用了写入快取。另外,DataCore的2台储存控制器之间,也没有执行快取镜像複製,因而省下了控制器之间的I/O负担,这虽能相当程度地提高I/O效能,但也因此不能确保2组控制器的资料一致性,也没有跨节点保护能力。

换句话说,怀疑者们认为,DataCore这个架构是专为冲高SPC-1 IOPS效能所设计,与真实环境存在很大落差,测试成绩虽然惊人,但对实际环境的参考价值有限。

资料来源:SPC

DataCore启用高可用性的SPC-1测试架构

DataCore在另一项SPC-1测试中(A00178)测试编号,以启用了镜像複製的组态接受测试,与缔造了512万IOPS的A00179测试相比,两者测试架构大致相似,但A00178启用控制器之间的镜像功能,具备跨节点高可用性能力,而且储存伺服器安装的DRAM记忆体数量也缩减一半(从A00179的1.5TB减为768GB),比较没有依靠写入快取冲高效能的疑虑,配备的SSD数量也较少(从72台减为36台),但如此一来,获得的IOPS数值也从A00179的512万降为120万。

虽然以这样的组态,跑出120万IOPS的SPC-1成绩,已经是相当不错的表现,但就没有512万IOPS那样的震撼力了。

资料来源:SPC

?

对性能价格比测试的质疑

DataCore缔造SPC-1性能价格比新纪录的A00164测试,同样也存在失真的疑虑。

首先,测试中前、后端都在同一台伺服器上,没有透过储存网路,等同于伺服器自己的本机I/O测试。这虽然可以解释成一种用户端与储存端合一的「超融合型式」架构,不过和一般常用环境显然是不同的。

其次,只使用1台储存伺服器,也就是单控制器,没有跨节点资料保护能力。

第三,前述测试架构同样也有大量依靠写入快取的疑虑,控制器安装了多达544GB DRAM记忆体,但架构中却又没有UPS,可用性堪虑。

换言之,DataCore这种做法,一方面是利用没有独立前端伺服器、且大量依靠写入快取的方式来缩短延迟、拉高I/O效能;另一方面又牺牲了可用性,透过单控制器架构来压低成本,从而取得性能价格比方面的优势。

与其他採用双控制器组态、拥有完整可用性机制、且採取储存网路测试架构的受测产品相比,DataCore的SPC-1性能价格比成绩,恐有不公平比较之嫌,也与现实环境脱节——毕竟,单控制器架构比双控制器省钱是理所当然的,但稍微有高一点可用性要求的使用者,都会要求採用双控制器,因此单控制器组态所取得的SPC-1性能价格比成绩,参考价值便相对有限。

也就是说,如果DataCore在这项测试中也依照正规标準,採取双控制器、跨节点资料镜像、纳入UPS配置、且透过储存网路存取,恐怕就不会有这样惊人的性能价格比了。

DataCore的SPC-1性能价格比榜首测试架构

DataCore以这个测试架构,在SPC-1效能价格比测试中(测试编号A00164),缔造了每IOPS只需0.08美元的惊人成绩。相较下,在此之前,位居SPC-1效能价格比榜首的普安EonStor DS 3024B,也不过是每IOPS 0.24美元的表现。

但观察测试架构可发现,这个架构没有独立的前端伺服器,且只有1台执行SANsymphony软体的储存伺服器。所以在这个测试中,前、后端都是位于同一台伺服器上,而没有透过储存网路存取,自然有助于缩减延迟、提高效能;此外测试架构只包含1台储存伺服器,也有利于压低成本,因而取得好的性能价格比成绩,也是理所当然的。

但这样的测试架构,和真实环境需求明显有落差,对企业环境来说,透过储存网路存取是常态,而且基本上都会要求双控制器高可用性架构。

资料来源:SPC

参考价值失效的效能指标

总的来说,DataCore在SPC-1测试中所採取的做法,虽然不至于算是作弊,只是利用了SPC-1测试的规则,却也造成测试结果参考价值的降低。

由于SPC-1测试规则中,并没有要求系统可用性的门槛,可以接受厂商以单控制器组态送测,所以透过降低可用性方面的标準,来达到拉高I/O效能与性能价格比表现,是符合SPC-1规则的合法手段。但这样的做法,在实际环境中是无法接受的——企业用户不仅要求高效能或便宜,同时也要求系统可用性与资料一致性,所以如果厂商在这方面「取巧」而取得较佳的SPC-1成绩,将会造成SPC测试环境与实际用户需求产生落差,从而失去参考价值。

而且相对于其他拥有完整高可用性机制的储存产品,DataCore这种牺牲可用性所取得的SPC-1佳绩,恐有不尽公平、以致无法直接互相比较之虞。

对于传统的企业级储存阵列产品来说,硬体上必然会拥有完整的可用性机制设计。但是在软体定义储存时代,控制器硬体配置是弹性的,因而出现了利用牺牲可用性标準,来提高测试成绩的取巧法门,而这也对SPC-1测试的可信度,带来了的挑战。

事实上,在DataCore带头做了「示範」后,近日Accelstor(捷鼎)也仿照这个先例,以单控制器/单机组态方式,缔造了SPC-1性能价格比的佳绩(位居仅次于DataCore的第3名)。但如同前面所述,这种方式虽能在「测试环境」取得好成绩,但对现实环境的参考价值有限,而且也是不公平的比较——在整个SPC-1性能价格比排行榜中,就只有DataCore与Accelstor是採取单控制器的压低成本取巧作法,其余所有厂商则都是规规矩矩的双控架构。

捷鼎的SPC-1性能价格比测试架构

今年年初捷鼎以这个架构,在SPC-1性能价格比测试中取得佳绩(测试编号A00183),每IOPS只需0.20美元,在SPC-1性能价格比排行榜中位居第3。但问题是,捷鼎在测试中,只使用1台NeoSapphire 3602全快闪储存阵列,也就是一个单控制器组态,这虽然有利于压低成本,但与真实环境需求有所落差。就实际环境来说,会在这类全快闪储存阵列上运行的应用,大都是讲求可用性的关键应用,双控制器高可用性是必要需求,因此这种单控制器测试组态的参考价值相对有限。

资料来源:SPC

tags:储存   月报   失灵   效能   指标

上一篇  下一篇

相关:

IT月报|云端IT焦点回顾 (2017/01)

红帽推出新版云端管理工具CloudForms 4.2,强化支援浮动IP分配、备份管理与拓墣视觉化等混合云管理能力。 图片来源: 红帽 ?Google ? 金钥管理?Google Cloud新增金钥管理服务,美、日、台测试上线Google于旗下云端平

社会价值失灵?身障就业超难!

(优活健康往编辑部/综合整理)我是从非障碍者变成障碍者,原本以为只要走出伤痛,未来的生活除了比较不方便之外,应该不至于有太大的问题;但连重回博士班念书都得不断证明自己的能力,毕业后找工作时更是困难重重

不锈钢涨势趋缓 唐荣2月报价小跌

连涨数月的不锈钢价涨势趋缓,由于农历年季节因素,需求减缓,加上印尼政府有条件出口红土鎳,国际鎳价走软,唐荣2月报价每公吨下跌新台币1000元,估2月中后鎳价可能回升。唐荣开出2月內销产品报价,300系冷、热轧不

思科以37亿美元买下应用程序效能监控开发商AppDynamics

示意图,与新闻事件无关。 图片来源: AppDynamics 网路通讯大厂思科(Cisco)周二(1/24)宣布将以37亿美元买下专门提供应用程式效能监控及管理服务的AppDynamics,令外界感到意外的是,此刻正值AppDynamics準备展

戴尔高效能运算 推全新系统产品

电脑大厂戴尔宣布在高效能运算产品阵容的重大进展,包括推出全新戴尔HPC系统,针对创新型HPC技术展开早期使用计划,加强与技术合作伙伴的协同合作。戴尔表示,全新戴尔HPC系统产品不仅结合订制化HPC系统的灵活性,又

站长推荐: