记忆体不够怎么办- 脸书开源内部解决方案Oomd
2018-07-23 11:08:29 | 来源:ithome | 投稿:尤慧 | 编辑:dations

原标题:记忆体不够怎么办- 脸书开源内部解决方案Oomd

脸书(Facebook)开源内部用来解决记忆体不足(Out-Of-Memory,OOM)的解决方案Oomd,脸书提到,随着服务发展而扩建的生产环境,由于规格不同,造成软件在部分的机器上运作,会有记忆体空间不足的情况发生。Oomd可以在用户空间而非核心空间,综合PSI工具与Cgroup2机制两种方法,解决记忆体不足的问题。

脸书现在已有超过22亿用户,而其基础架构设施也扩展支撑着新闻、Messenger、Instagram、WhatsApp以及Oculus等其他产品,这些产品散布在各地区的分散式资料中心的数百万台伺服器中,脸书生产工程师DANIEL△XU提到,由于基础架构设施规模不断的扩展,因此机器与网络设备也横跨越来越多代,多代生产环境的缺点便是,同一个软件在不同规格的机器上运作状况不相同。

部分软件在大部分的机器上运作正常,却在某部分的机器上会发生记忆体不足的情况,DANIEL△XU提到,脸书在机器上使用Linux作业系统,而Linux作业系统上用来解决记忆体不足的机制,虽然在多数情况运作良好,但是在部分情况介入太迟,有机会造成Livelock的现象。

因此脸书开发了Oomd来解决常见的记忆体不足情况,这个解决方案不只更快更可靠,他的一大特色便是能在使用者空间而非核心空间运作,另外,Oomd提供了Pre-OOM△Hooks,能提早察觉到工作负载记忆体不足的威胁,而其提供的套件系统,能让使用者指定自订义的政策,以解决不同主机的工作负载运作状况。

DANIEL△XU提到,他们为了要提高记忆体的使用效率,通常会让程序分配的记忆体多于系统可用记忆体的容量,这种记忆体配置策略,基于应用程序并不需要所有已分配记忆体的假设。但这种假设并非总是成立,因此当记忆体需求超过总量时,Linux△OOM杀手便会启动,并试图回收记忆体以确保系统正常运作,但是由于这个机制不分工作负载的重要性,因此当OOM杀手介入可能错杀重要程序,增加应用程序运作的风险。

Oomd解决方案由两个关键组成,第一则是PSI(Pressure△Stall△Information),这是新的公用工具,用来追踪三项系统资源CPU、记忆体与I/O,并提供这些资源的时间轴视图。PSI部署在生产环境时,其指标可以用来作为追踪资源短缺工具,允许在使用者空间根据需求,主动采取必要措施。另一个关键则是Cgroup2,这是Linux核心机制,能以分层的方式组织程序,并以可控与可配置的方法,以阶层结构配置系统资源。Oomd利用Cgroup2的机制来确保每一个工作负载都运作得当。

Oomd能以更全面的方式监控系统资源,而不像Linux△OOM杀手仅关注核心问题,但也由于记忆体不足的检测标准会因任务不同而不同,因此才需要外挂系统来对特殊情形制定订制化政策。Oomd中有一个顺序列表,上面记录着可以优先结束的程序,当某些条件成立时,Oomd便会优先结束这些程序或是服务。

经过实验证明,他们即便让程序重复地大量请求记忆体,Oomd依然能够维持高效率配置记忆体,比起预设的Linux核心OOM杀手更加可靠快速。脸书已经大规模在伺服器上部署Oomd,发现从伺服器到交换器,都能有效分配运算资源,并减少在工作负载上发生Livelock的频率。

tags:

上一篇  下一篇

相关:

Toshiba 开发 QLC 96 层 BiCS 快闪记忆体 容量再破纪录 | 香港 UNWIRE.HK 玩生活.乐科技

快闪记忆体技术发展迅速,除了速度提升之外,容量也不断增加。Toshiba 早前开始测试制作高容量快闪记忆体,每块晶片可以储存 166GB 的资料,未来应用在产品中的话,则可以满足大容量 SSD 的需求。Toshiba 与 Western

Samsung 首创 LPDDR5 流动装置记忆体  速度增50% 电力消耗减30% | 香港 UNWIRE.HK 玩生活.乐科技

随着 AI 及 5G 技术在未来愈来愈重要,手机设备的硬件要求也不断提高。近日,Samsung 宣布己成功开发 10nm 制程的 8Gb LPDDR5 记忆体,与现有的 LPDDR4X 相比,传输速度增长达 50%,电力损耗减 30%,为日后的 5G 及

大数据即服务公司BlueData推出Bluek8s开源专案,加速Stateful应用程序部署

图片来源: BlueData 云端原生运算基金会成员之一的大数据即服务厂商BlueData,近日也加码押宝Kubernetes,推出了开源专案BlueK8s。而在此专案中第一个即将释出的专案是KubeDirector,让有态应用(Stateful)在Kubern

捐出你的声音! Mozilla开源语音资料专案Common Voice开始募集正体中文音档

为加速语音分辨相关技术及应用的发展,Mozilla去年发起开源语音募集专案Common△Voice(同声计划),在6月底开始募集正体中文音档,鼓励民众献声,以协助正体中文语音资料库的建立。去年7月启动的Common△Voice专案,

三星发表业界首款8Gb的LPDDR5记忆体

图片来源: 三星 三星(Samsung△Electronics△)于本周二(7/17)宣布已成功开发出业界首款10纳米等级的8Gb△LPDDR5 DRAM,与现有的LPDDR4X相较,它的传输速度增加了50%,电力损耗最多则可减少30%,替即将来临的5G与

站长推荐: