分散式串流资料处理平台Apache Pulsar释出2.0,新函式可边收资料边进行逻辑运算
2018-06-08 15:57:44 | 来源:ithome | 投稿:尤慧 | 编辑:dations

原标题:分散式串流资料处理平台Apache Pulsar释出2.0,新函式可边收资料边进行逻辑运算

被视为串流处理软件平台Apache△Kafka的竞争对手Apache△Pulsar,释出了2.0候选版,新增了名为Pulsar函式(Functions)的新功能,让使用者可以在处理串流资料的同时,不需要使用Apache△Storm、Apache△Heron或是Apache△Flink等其他应用程序,就能进行逻辑运算处理。

还在Apache孵化器(Incubator)阶段的Apache△Pulsar,前身是Yahoo的内部专案,用来支援分散式系统的网络应用程序,当时Yahoo平台的工程师Joe△Francis与Matteo△Merli,在2016年Yahoo开源Pulsar时提到,他们的应用程序需要提供即时服务,因此只能容忍平均约5ms,在第99个百分位数最多不能超过15ms的发布延迟,同时这个Pub/Sub讯息系统必须能支撑网际网络规模,具备排序、强健耐久性以及交付保证要求。

Matteo△Merli提到,Yahoo需要一个托管服务能够提供一百万个主题订阅,但由于在市面上找不到这样的解决方案,能够同时提供需要的规模、性能以及功能,于是他们只好自己开始动手打造Pulsar,成为支援Yahoo的Flickr、Mail、Finance、Sports、Gemini△Ads与Sherpa后台的关键服务。而后Matteo△Merli离开了Yahoo,并成立了Streamlio来商业化Apache△Pulsar。

现在Streamlio宣布对Apache△Pulsar进行重大更新,释出了2.0版本,主要增加了Pulsar函式这个新功能,为的是要提供使用者在不需要使用Apache△Storm、Apache△Heron或是Apache△Flink等资料处理生态系的其他应用程序,就能执行复杂的逻辑处理,也就是说Apache△Pulsar讯息传递系统中绑进了运算基础架构。

官方提到,这个运作模式很简单,Pulsar函式可以接收来自单一或多个输入主题(Topic),在每次接受讯息后就能执行一些操作,像是对输入进行逻辑处理,并写入输出到Pulsar的输出主题(Output△Topic)或是Apache△BookKeeper服务,另外也能写入日志到日志主题(Log△Topic)中做为除错用,或是计数功能。官方举例,Pulsar函式可被用来计算单词的出现频率,只要将句子主题做为输入,在函式中编写文字处理逻辑,就能分割字词计算个别出现的次数。

Pulsar函式在处理保证上,提供3种不同的讯息语意,可以使用在不同的函式上,至多一次交付(At-most-once)表示每条讯息可能会送到函式中处理也可能不会,至少一次(At-least-once)则能确保每个讯息最少被处理一次,而至少一次有效处理(Effectively-once)则保证每条讯息被送至函数都会关联一个输出。目前Pulsar△Functions的SDK支援Java与Python两种语言,并使用Apache△BookKeeper做为状态储存介面。

tags:

上一篇  下一篇

相关:

基因族谱网站 MyHertage 被入侵 9,200 万笔资料被盗 | 香港 UNWIRE.HK 玩生活.乐科技

近年,有不少网站为用家提供寻根服务,用家只需网上预订基因检测工具,进进行简单测试就能找到其他亲人。当中,提供这类服务的以色列网站 MyHertage 近日遭受黑客攻击,声称共有 9,200 万笔资料被外泄,幸好只有帐户

Facebook 证实向 4 间中国科技公司分享数据 引资料安全疑虑 | 香港 UNWIRE.HK 玩生活.乐科技

社交网站 Facebook 早前证实,与华为等 4 间中国电子产品公司建立了数据合作关系。美国有参议员质疑,华为(Huawei)有可能受中国政府指使,支援其间谍活动。而 Facebook 则声称会于本周内结束与华为的合作关系,但无

Android P开发者预览版3释出,就是Android 9 !-

示意图,与新闻事件无关。 图片来源: Google Google周三释出Android△P开发者预览版3(Developer△Preview,DP3)或Beta△2,而媒体从释出的档案发现Android△P就是Android△9。Google已经公布OTA映像档供Android开

Google释出Capillary开源函式库,助Android开发者提供端对端加密推送讯息功能

Google释出了Capillary计划,这计划包含了一个开源函式库,要帮助开发者提供伺服器到Android装置间的端对端加密推送讯息功能,Google表示,要提供端对端加密功能需要一定程度技术,因此他们希望通过Capillary计划中的

以色列家谱网站MyHeritage外泄逾9,200万名用户资料

图片来源: MyHeritage 以色列家谱网站MyHeritage于周一(6/4)表示,该站逾9,200万名用户的资料已流落在外,包含用户的电子邮件位址与杂凑密码,资料外泄的日期为去年的10月26日,该站也呼吁在此之前注册的用户应该要

站长推荐: