企业级Kafka平台Confluent释出5.0版
2018-08-02 17:19:43 | 来源:ithome | 投稿:梁子 | 编辑:dations

原标题:企业级Kafka平台Confluent释出5.0版

在2011年被LinkedIn开源释出的分散式串流分析平台Kafka,而在2014年,LinkedIn离职员工另起炉灶,创办提供企业级Kafka串流服务的Confluent。在近日,该公司释出了Confluent△Platform△5.0版,让用户可以更快整理分散各处资料源,汇整至单一来源。Confluent表示,这次释出新版本有许多重要功能,像是提高基础架构的安全性、可靠度,以及加强应用程序串流分析的能力。

第一重点加强层面是提升该平台的安全、可靠度。Confluent表示,这次版本利用新LDAP△authorizer套件,设定Kafka的存取权限,而管理员可以连结使用群组及LDAP伺服器,进行权限控管。而LDAP△authorizer套件与其他安全协议结合后,管理员也能用个人或者群组为单位,进行存取控制。同时,Confluent也加强控制中心的功能,包含Schemas、KSQL、Topic等内容,都可以利用存取控制机制加强安全。

至于串流平台的稳定性,此平台也搭配了Confluent△Replicator,缩短灾难复原的时间,协助维运人员,将灾难复原的每个步骤自动化。当企业IT环境故障,客户端应用程序要转移至次丛集运作时,Replicator利用Kafka内建容错机制Consumer△group,让应用程序搬迁至新丛集运作时,可以从延续既有节点的工作进度,Confluent表示:“不仅缩短重新处理Consumer需求的时间,也不会遗失新收到的讯息。”为了避免故障转移时,系统重复复制讯息,在Replicator的设计机制中,系统会确保从甲地复制,传送至乙地的讯息,不会重新拷贝一份至甲地,反之也然。

再者,Confluent控制中心的监控、管理功能也有加强。以监控功能为例,系统管理员在选单中,可以观察多个Kafka丛集中个别Kafka伺服器组态设定,确保每个Kafka△Broker都配有正确组态设定,避免出现资安问题。

同时,系统管理员在控制中心也能即时观看个别应用程序的效能表现,并且设定触发警报条件,加强平台稳定度。在此版当中推出的新功能Consumer△lag,使用者可以观察Consumer端的效能表现,提前准备确保平台维持高效运转。

除了加强平台安全、降低维运工作,第二个重要特色就是加强平台串流分析的能力。而Confluent总共从两个层面,强化平台运算力。

首先让开发者通过控制中心,能更加了解串流资料的特性。在数据收集被归类到Topics后,使用者可以检视每一笔讯息中的标头档、Key等资讯。再者,现在Confluent开发的Schema储存库(Schema△Registry△)已经和控制中心整合,使用者可以直接浏览Topics内资料的键值资讯。同时,在控制中心的管理选单中,该平台也提供开发者,比对新旧Schema的设计。第二个层面则是加强整合KSQL。Confluent表示,在4.1版时就推出Web介面实验功能,让开发者可以在网页介面执行KSQL。现在控制中心已经整合了KSQL,开发者能直接利用Kafka△Topics,建立资料流(Stream)及资料表(Table)。

现在Confluent也开始加强布局物联网应用,该公司表示,Confluent推出了MQTT△Proxy,能相容标准的MQTT△3.1.1版协议,让企业用户可以更快整合物联网应用,借由原生的MQTT△Proxy,用户可以淘汰第三方厂商的MQTT△Broker。该公司表示,自家原生的MQTT△Proxy也支援了TLS协议,加强连网设备的安全。

系统管理员在选单中,可以观察多个Kafka丛集中个别Kafka伺服器组态设定,确保每个Kafka△Broker都配有正确组态设定,避免出现资安问题。图片来源:Confluent

?

系统管理员在控制中心也能即时观看个别应用程序的效能表现,并且设定触发警报条件,加强平台稳定度。在此版当中推出的新功能Consumer△lag,使用者可以观察Consumer端的效能表现,提前准备确保平台维持高效运转。图片来源:Confluent

?开发者通过控制中心,能更加了解串流资料的特性。在数据收集被归类到Topics后,使用者可以检视每一笔讯息中的标头档、Key等资讯。图片来源:Confluent

?

开发者可以比对新旧Schema的设计,比对后,Confluent会自动列出前后版本差异的地方。图片来源:Confluent

现在控制中心已经整合了KSQL,开发者能利用Kafka△Topics,建立资料流(Stream)及资料表(Table) 。图片来源:Confluent

tags:

上一篇  下一篇

相关:

Faleemi FSC882 多平台高清镜头 高清摄录+超强夜视 | 香港 UNWIRE.HK 玩生活.乐科技

Faleemi 推出最新 Full HD 型号 FSC882 – QR Code 2MegaPixel 多平台高清 IP Camera 。采用 1080p Full HD 镜头,画面细致;以 QR Code 安装,过程简单方便,加上声波 Wifi 连接技术,用家毋需接驳 LAN 线或按

微服务平台Istio正式释出1.0版,支援Kubernetes跨丛集连线

最初由Google、IBM及Lyft共同开源释出的微服务平台Istio,近日跨出重要的版本里程碑,释出了1.0版。距离第一个释出的0.1版,已经超过一年。Istio团队表示,现在该平台已经逐渐出现大型企业于正式环境中采用的案例,像

工研院建构资安整合服务平台,媒合产业供给与企业需求

为了加速台湾资安产业生态链,经济部工业局今年开始推动新兴资安产业生态系推动计划,在工研院的执行之下,于7月底正式推出“资安整合服务平台”。他们期望,通过这项机制媒合产业供给与公私部门需求,促进国内自主研

Serverless释出自家无伺服器应用开发平台

成立于2015年的无伺服器新创公司Serverless,算是早期就进入此市场的新创厂商,当时即释出开源的无伺服器框架Serverless△Framework,在近日该公司推出自家无伺服器开发平台Serverless△Platform,目前还位处Beta版本

微软Azure AD释出新预览功能,让角色权限管理一目了然

图片来源: 微软 近日除了整合Azure△Monitor外,现在微软Azure△AD又有新预览版功能,该公司表示,Azure△AD加强了角色管理、控制功能,让系统管理员的任务变得更快速。在这个新预览版功能中,除了列出角色清单、详细

站长推荐: