Uber开源整合Prometheus的大规模指标平台M3
2018-08-13 17:34:43 | 来源:ithome | 投稿:洛洛 | 编辑:dations

原标题:Uber开源整合Prometheus的大规模指标平台M3

由于旧有的监控系统已经不敷使用,现存的解决方案又没有适用的,因此Uber只好自己打造整合Prometheus的大规模指标平台M3,而现在开源给大家使用。M3能每秒聚合5亿个指标,并且以每秒2,000万笔的速度持续永久保存这些结果。

M3是Uber从2015年才开始发展的专案,而在这之前,Uber所使用的是基于监控工具Graphite的系统,所有服务、基础设施和伺服器都会将指标发送至这个系统中,而Graphite系统会将这些资料以Whisper档案格式,储存到分片Carbon丛集。在其他功能上,仪表板功能使用Grafana,而警示功能采用Nagios,并通过来源控制脚本发出Graphitee閾值检查。

这个系统已经使用了一段时间,但是在扩充上却遇到了瓶颈,Uber提到,扩充Carbon丛集需要经过手动再分片的程序,而且由于缺乏复本,因此任何一个单一的节点硬盘损坏,都会造成相关指标资料永久性的遗失。最终,这个系统已经无法满足Uber的需求。

采用新的监控系统势在必行,但是Uber评估完现有的开源替代方案后,无论是在资源的效率和规模目标上,或是作为自助服务平台运作,没有任何现存专案能够符合需求,所以Uber只好自己量身订做一个适合自家应用的系统。

最一开始的M3,皆采用开源专案元件组合而成,像是用于聚合指标的Statsite,或是用于时间序列储存具备Date△Tiered△Compaction△Strategy的Cassandra,以及用于索引的ElasticSearch。但随着系统发展,基于营运负担和成本效率,加上不断增加的功能集,现在M3里这些部分的功能都超越原本使用的专案。

Uber从2015年释出M3至今,目前拥有超过66亿个时间序列,每秒聚合5亿个量测指标,并以每秒2,000万笔资料的速度将结果储存到全球各地,接着在区域使用分散式Quorum机制,将资料分成三份永久储存。M3给予工程师极大的灵活度,可以设定量测指标的储存政策,以不同长度的时间保存不同粒度的资料,这项设计能让工程师或资料科学家,能以不同留存规则智慧地储存时间序列,像是工程师可以指定应用程序标签为mobile_api与终端标签为已注册的所有指标,以每10秒粒度指标资料储存30天,同时一小时粒度指标储存5年。

对于M3的使用者来说,能和监控系统Prometheus搭配使用是一件很重要的事,无论是将Prometheus的指标输出,供其他应用程序读取使用,或是使用node_exporter与其他第三方Prometheus指标输出器进行系统监控。而且有鉴于Uber多个团队早已经大量的使用Prometheus,因此开发团队也积极将M3与Prometheus整合,允许这些团队能全球查询M3中永久指标资料。

而且根据过往的系统使用经验,Uber赋予M3一些特性,M3能够最佳化指标供作管线的每一个部分,最大化储存空间,同时也会高度压缩资料,减少硬件支出成本。由于多数的资料为一次写入不再读取,M3系统会尽量管理这些资料使用记忆体,维持精简的记忆体占用,以避免记忆体成为系统瓶颈。

随着M3平台释出,Uber也同时释出了M3的可扩展储存后端M3DB,这是分散式时间序列储存,并具备可配置无序写入的反向索引。另外,也发布了周边应用M3 Coordinator,可在M3DB丛集上提供全域查询和储存介面。

tags:

上一篇  下一篇

相关:

继Kubernetes后,Prometheus也从CNCF基金会毕业了!

今年3月时,云端原生运算基金会(Cloud△Native△Computing△Foundation,CNCF)宣布,Kubernetes从该基金会毕业,也是第一个脱离该基金会的开源专案。而近日,CNCF基金会宣布第二个毕业专案出炉,这次轮到受开发者喜

港铁:轻铁屯门泳池站沉降幅度未达停工指标

屯门区议会社区危机处理工作小组开会,讨论区内多个港铁车站沉降。多名区议员批评,港铁的处理手法极差,完全没有公布沉降细节,令公众对港铁失去信心,形容港铁是“诚信沉降”。也有议员指,事件涉及行车及人命安全

与其他车厂分享成果 Tesla 计划将汽车保安软件开源化 | 香港 UNWIRE.HK 玩生活.乐科技

汽车电子系统的功能增加后,虽然带来了更大的便利,不过同时也出现安全风险,需要加入更多的保安措施。最近 Tesla 就宣布计划将他们的保安软件源码开放,让其他车厂可以作为参考。Elon Musk 在 Twittwr 上表示,未来

Trustwave开源可人脸分辨“人肉搜索”社交档案的情搜工具Social Mapper

下方为人肉搜索社交档案产出的CSV档,上方则是较视觉化的HTML报告。 图片来源: Trustwave 新加坡电信(Singtel)旗下的资安业者Trustwave在本周释出了基于人脸分辨技术的情报搜集工具Social△Mapper,可用来人肉搜

加速进入汽车市场,Amazon开源Alexa车用SDK

图片来源: Amazon 近年来包括福特汽车与丰田汽车等汽车制造商都已在车系中嵌入Amazon的Alexa数位语音助理,而为了简化汽车业者部署Alexa,Amazon周四(8/9)发表了Alexa△Auto△SDK,同时将它开源,以让所有汽车制造

站长推荐: