资料工程平台Astronomer 0.2.0企业版释出,结合Airflow在私云Kubernetes环境监控资料流
2018-05-14 16:50:14 | 来源:ithome | 投稿:米娜 | 编辑:dations

原标题:资料工程平台Astronomer 0.2.0企业版释出,结合Airflow在私云Kubernetes环境监控资料流

想要执行大数据分析应用的企业,除了使用自建平台外,也有容器平台如DC/OS的开源选择,除了多方相容开源数据处理工具Spark、Kafka、Flink;支援机器学习、深度学习工具TensorFlow、MXNet、PyTorch等,还可以结合GPU进...

想要执行大数据分析应用的企业,除了使用自建平台外,也有容器平台如DC/OS的开源选择,除了多方相容开源数据处理工具Spark、Kafka、Flink;支援机器学习、深度学习工具TensorFlow、MXNet、PyTorch等,还可以结合GPU进行高速运算。而现在开发者又多了一个新选择,就是资料工程新创公司Astronomer近日释出的资料工程平台Astronomer企业0.2.0版,今年初该公司就已经推出了代管AirFlow服务及SaaS解决方案,而这次平台新版本所主打的是,可以在私有云平台的Kubernetes环境上,执行Airflow,用来安排、监控应用程序工作流程。该平台的支援的资料处理方法,也涵括了批次作业模式及即时串流模式。

Astronomer执行长Ry△Walker表示,GDPR及资料隐私法规,逼得企业必须开始衡量,将用户数据转交给外部厂商的风险。而该公司看到企业对资料保护的需求,所因应的策略,就是让既有平台解决方案,搬至企业内部受控环境执行。选择将该解决方案部署在私有Kubernetes丛集的企业,同样享有与SaaS版一样的服务,“但是企业可以直接存取系统原始码”,Ry△Walker表示,这也确保用户保有订制化的自由。

在这次所释出的新版本中,功能面总共有3个新特色。首先是支援Kubernetes△Helm△Charts,让系统组态设定更为自动化。Ry△Walker举例,开发者过去建置Grafana、Flower或是自家API平台Houston时,都得要分别进行,而现在新版释出,在单一部署中,就可以一次设定多种元件的部署组态,加快工作速度。

第二是加强了命令程式列的功能,除了可以直接进行系统认证程序,让组态设定过程更为流畅,也能同时部署多个Airflow应用。该公司表示,此平台也强调开发者优先,与其采用僵硬、令人混乱的GUI操作,“我们决定满足开源开发者的需求,提供轻量化工具、丰富的API及命令程式列。”

最后,该公司也更新了API平台功能,现在系统可直接列出部署任务清单、自行更换部署名称,还可以布建订制化Airflow映像档,“在部署过程中,开发者可以更加掌握映像档的系统相依性。”?

新推的企业Astronomer△0.2.0版,在企业内部的Kubernetes环境中,也整合了许多开发者爱用的资料监控、分析平台Grafana。部署于容器丛集中的Airflow容器的运作状况,也能一目了然。而该平台也有提供相异系统维度的监控方法,例如,全局的系统面为切入点,观察CPU、记忆体及网络流量等数据。或者,也能观察个别Kubernetes△Worker节点,确保该节点的CPU、记忆体使用量都正常无虞。 图片来源:Astronomer

tags:

上一篇  下一篇

相关:

Couchbase与Rackspace联手推出云端代管资料库服务

NoSQL资料库厂商Couchbase近日宣布,该公司与公有云厂商Rackspace合作,要推出云端代管服务Couchbase△Managed△Cloud。Couchbase表示,此次联手新推出的解决方案是完全代管式的资料库服务,以自家NoSQL技术为核心,

微软释出Azure机密运算服务预览版

微软释出Azure机密运算(Confidential△Computing)服务预览版,企业现在能在Azure上,用更安全可信执行环境(Trusted△Execution△Environments,TEEs)来执行敏感资料操作,微软提到,或许机密运算目前还是一个特别

甲骨文自动化资料库服务登台

甲骨文自动化云端服务蓝图涵盖了5大类产品,第一步先推出自动化资料库服务,如最近在台湾推出的自动化资料库仓储云服务。 图片来源: 甲骨文 甲骨文近日正式在台推出自动化资料库仓储云(Oracle△Autonomous△Data△

Chef自动化布建服务Habitat Builder也开始相容Azure环境,可用来部署容器化应用程序

图片来源: Chef 提供应用程序组态管理的Chef在去年用开源自动化派送专案Habitat为基础,推出自动化部建服务Habitat△Builder,当时该公司的规画就是要让它能横跨多种基础架构,从公有云、Docker、Kubernetes、Cloud△

肯德基鸡翅现活虫 [热事件]

肯德基从过去到现在,虽不似过去那般火爆,但也终究是在餐饮业内拥有一定名望的连锁餐厅,但频频出现的卫生问题始终都让它处于风口浪尖之上,肯德基鸡翅现活虫令人作呕,肯德基认为与消费者存放环境有关。肯德基鸡翅

站长推荐: