微软Azure HDInsight推除错工具包,开始支援Spark 2.3版
2018-09-07 17:55:09 | 来源:ithome | 投稿:小柯 | 编辑:dations

原标题:微软Azure HDInsight推除错工具包,开始支援Spark 2.3版

能通吃Hadoop、Spark、Kafka等开源框架的微软Azure云端大数据平台HDInsight,近日该平台上释出了Spark除错工具包,可以支援Spark△2.3版及未来的新版本。搭配此款除错工具包,可以将Spark任务的工作图表、资料流予以视觉化,让Spark开发者处理资料管理、资料取样、监控及诊断任务时,更为顺利。

微软也公告,这款Spark除错工具包未来会释出更多新功能,包含关键路径分析、Data△Skew及Time△Skew问题分析等。

现在Spark除错工具包已经内建在HDInsight△Spark历史纪录伺服器,从Azure△Portal进入的开发者,只要点选丛集仪表板、Spark历史纪录伺服器的选项,就能存取功能。

在HDInsight中的Spark历史纪录伺服器(Spark△History△Server),微软现在新增了两个新功能,分别是Graph△Tab及Data△Tab。第一个功能是Graph△Tab,提供使用者视觉化的互动体验。例如,Spark工作图表会列出任务执行的细节,包含各阶段中资料的输入、输出资讯,开发者可以重新回放(playback)功能,重现完整的任务程序。借此功能,可以进一步诊断工作流程中的效能表现、资料处理时间,找出每个流程中出现的离群值,改善应用程序的流畅度。

再者是Data△Tab功能,支援开发者利用CSV格式,汇出输入、输出、搜寻或者URL等数据,例如,资料科学家可以下载部分取样数据,在本地环境进行除错、执行任务。

?

微软这次推出的除错工具包,当中一个新功能是回放(Playback)。系统会列出完整的任务流程,在页面选单中,开发者可以指定Job△ID、呈现资讯(如资料读取、写入)。借此,系统就会重现流程,开发者可以观察流程中的瓶颈为何,进而改善效能。图片来源:微软?

tags:

上一篇  下一篇

相关:

微软拟用华为芯片 [热事件]

微软是老牌计算机公司,而华为是知名智能手机厂商。据媒体最新消息,微软拟用华为芯片,华为芯片最大优点是什么?一起来了解一下。华为台媒称,知情人士透露,微软正在与华为商讨合作事宜,微软考虑在中国的数据中心

微软延长企业及教育版Windows 10的技术支援期间到30个月

示意图,与新闻事件无关。 图片来源: 微软 为了吸引迟迟不愿更新到Windows△10的企业用户,微软周四宣布特定Windows△10企业及教育版用户享有的支援期间,将从18个月延长为30个月。依据Windows△10的Windows△a△S

Sysdig开始支援微软Azure容器储存库的映像档扫描服务

图片来源: Sysdig 提供容器安全服务的新创公司Sysdig,在6月推出Sysdig△Secure△2.0,加强漏洞管理、法遵管理功能。近日该公司表示,Sysdig△Secure△2.0版有了新整合功能,开始支援维运人员在Azure容器储存库内,扫

恶劣天候导致微软德州的资料中心当机,众多Azure服务遭波及

由于德州的资料中心当机,使得美国中南部的多项服务受到影响。 图片来源: 微软 在协调世界时间(UTC)周二(9/4)凌晨12点35分时(约台湾周二早上8点35分),微软设置在德州的美国中南部(South△Central△US)资料

微软改版Web、Windows版Outlook下周起上线

图片来源: 微软 稍早宣布改版的Outlook,周二微软表示,新设计的Web版Outlook将在下周上线,Windows版则将紧接着推出。从下周开始,想及早使用新Web版Outlook的Targeted△Release用户,只要按下邮件右上方的“试用新

站长推荐: