脸书开源可扩展且容错的分散式日志系统LogDevice
2018-09-17 18:47:25 | 来源:ithome | 投稿:小唯 | 编辑:dations

原标题:脸书开源可扩展且容错的分散式日志系统LogDevice

脸书(Facebook)通过GitHub开源LogDevice,LogDevice是一个分散式的日志系统,负责储存并交付日志。LogDevice能提供大规模高可靠性的各类型日志,其拥有灵活可调校的能力,能对每个使用案例进行最佳化,让使用者在耐久性与效率,还有一致性与可用性之间,相互权衡取舍。

LogDevice提供了多种类型的日志格式,并且使用一种称为非确定性分散记录放置(Non-deterministic△Decentralized△Record△Placement△)技术,即便丛集中的某些节点严重发生问题,LogDevice依然能提供低延迟、高可用性与一致性的资料写入服务。与其他分散式系统类似,LogDevice会在不同的机器上储存每笔纪录的副本,来达到耐久性要求,通过这些副本的放置选项,在丛集中的许多储存节点发生故障、速度缓慢或磁碟空间不足,只要丛集中部分节点继续运作,LogDevice仍然可以完成高效能写入工作负载。

使用者还可以通过分散单一日志,写入到所有可用节点以舒缓写入速率的高峰,相反的,当特定日志仅限于使用几个特定节点,则单个日志的最大资料吞吐量,将受这些节点能力限制,在这之中如果又有节点故障,就可能导致部分日志所有写入失败。

虽然LogDevice设计中并没有主节点存在,但是却能提供存在主节点设计相同的灵活度。脸书把日志纪录的顺序和实际纪录副本的储存脱钩,LogDevice会执行定序器(Sequencer),对要附加到日志上的每笔纪录给出单向递增序号。一旦纪录有了序号,该笔纪录的副本就可能被存放在丛集上的任何节点,开发团队也对存取这些副本做了特殊处理,使得副本放置的方法,并不会影响后续读取者查看该日志纪录的顺序。定序器可以在任何方便的机器执行,包括储存节点、专用于排序的节点,或是只有执行功能的节点。

脸书的LogDevice的日志储存在本机硬盘上使用了LogsDB,这是一个写入资料最佳化的储存应用,目的在减少硬盘搜寻的次数,并且维持写入和读取的I/O模式都是有序的。而LogsDB提供的写入最佳化,即便分属不同的档案或是日志,LogDevice在写入资料的时候仍可以维持极高的效率,但这也是牺牲一些存取模式的读取效率换来的。脸书耕耘许久的RocksDB资料库,也在LogDevice派上用场,LogsDB建构在RocksDB之上,是一个基于LSM树的有序耐久键值资料储存应用。

LogDevice日志提供纪录一致性保证,多个写入器可以对同一个日志并行增加纪录,所有这些纪录都能以相同的顺序交付给日志读取者。LogDevice提供内建的资料遗失检测报告功能,当侦测到纪录遗失,LogDevice会递送错误报告给所有相关的读取者。

LogDevice是脸书从头开始设计的日志系统,因此其不只在大规模使用案例中,提供高可靠性和高效率的服务,同时也具高度可调校的特性,能让使用者针对每个案例进行最佳化,并根据需求在耐久性与效率,或是一致性与可用性之间,互做取舍。脸书提到,LogDevice的灵活性可以胜任不少使用案例,包括一般的耐久性写入纪录、分散式资料库的交易日志、事件日志,也可以应用在串流处理、机器学习训练工作管线中或是复制状态机等。

tags:

上一篇  下一篇

相关:

去Google化、用户隐私优先的行动作业系统/e/释出测试版

图片来源: Ga?l△Duval 由行动装置作业系统社交软件ageOS分支出来的/e/释出Beta测试版,其强调完全去Google化,作业系统上没有Google的服务,也不使用Google△Play△,更尊重使用者的隐私,而且作者提到,/e/的介面成

华府将测试全国紧急警报系统 美国手机同步收警报 | 香港 UNWIRE.HK 玩生活.乐科技

据美国政府公布的公告表示,美国联邦紧急事故管理总署(FEMA)将于 9 月20 日为最新的警报系统进行测试,向美国境内的所有手机发送标题为“Presidential Alert”的测试警告讯号。事实上,有关系统由前任美国总统奥巴

LinkedIn开源TonY,让Hadoop原生支援TensorFlow

LinkedIn开源TonY专案,让使用者可在单节点或是大型Hadoop丛集上,基于YARN建置TensorFlow应用的解决方案,TonY其运作方式就像是在Hadoop中的MapReduce,执行Pig和Hive脚本的方式类似,提供TensorFlow任务第一层级的

台北市卫生局公卫系统市民个资于暗网兜售,检调发动调查

台北市政府卫生局惊传,公共卫生资讯管理系统的个人资料遭到外泄,并且在暗网中,以100笔个资要价1千美元的价格对外贩售,相关事证,也已经于八月底,交由台北市市调处进行调查中,相关人员目前都基于侦查不公开,暂

HomePod+tvOS 系统韧体更新 9/17 开放下载 | 香港 UNWIRE.HK 玩生活.乐科技

除了发布 iPhone XS、XS Max、XR 及 Apple Watch S4 之外,Apple 行政总裁 Tim Cook 在发布会最后阶段也提及智能喇叭 HomePod 专用 OS 及 Apple TV 4K 之 tvOS Firmware 系统韧体的更新情况。HomePod OS 及 tvOS 最新

站长推荐: