Databricks开源机器学习平台MLflow,以标准格式打破工具平台的界线
2018-06-07 17:11:25 | 来源:ithome | 投稿:伊文 | 编辑:dations

原标题:Databricks开源机器学习平台MLflow,以标准格式打破工具平台的界线

由Apache△Spark技术团队所创立的Databricks释出开源机器学习平台MLflow,不只对社交开放原始码,进一步使用开放介面,要支援既有的机器学习函式库、演算法以及工具,同时Databricks也提供MLflow的托管服务,不过,MLflow仍在早期的测试阶段,想尝鲜的开发者可以在GitHub上取得专案程式码。

MLflow包含三大部分,追踪(Tracking)、专案(Projects)以及模型(Models)。MLflow追踪是用于日志参数、程式码版本、指标以及输出档案的API和使用者介面,使用者以脚本或是笔记本档案纪录日志结果,可以选择储存在本地端或是伺服器上,之后可以使用网页介面读取来比较不同的执行结果。

而MLflow专案提供可重复使用的科学程式码标准格式,每个专案都单独为一个目录或是Git程式码储存库,并由YAML档案来定义MLproject。MLflow专案可以在套件管理器Conda环境中建立相依性,而MLflow会自动设定适合的环境执行专案,而且当专案有使用MLflow追踪API,MLflow还会记录专案的版本以及相关参数,开发者可以随时重新执行完全相同的程式码。MLflow专案提供了良好的重现性、可扩展性以及实验性,让企业或是开源社交都可以更容易地共享资料科学应用。

MLflow的第三部分模型,MLflow的机器模型包称为MLmodel,其中可以包含任意档案以及一个MLmodel描述文件。MLflow提供输出工具,可以把常用的模型格式部署到不同平台上,官方提到,开发者可以将支援Python_function的模型部署到基于Docker的REST伺服器,也可以选择部署到各种云端平台,像是Azure△ML或AWS△SageMaker,或是在Apache△Spark提供的批次或是串流推测中,作为用户自订义功能。

Databricks不只开源MLflow的程式码,也选择使用开放介面,官方表示,MLflow是设计来搭配任何的机器学习函式库、演算法、开发语言以及工具,以REST△API以及提供简单资料格式做为设计理念,开发者可以把MLflow的模型看做是一个Lambda函式,能被不同的工具使用,因此Databricks提到,MLflow好处就是可以立刻增加到既存的机器学习程式码中,开发者马上就能执行使用。

之所以会有MLflow这个专案,官方提到,现在市面上的机器学习工具千百种,但是除了不容易追踪机器学习的实验外,还很难重现相同的结果,而且也缺乏搬迁模型的标准,因此机器学习的应用常会被工具以及环境绑住,开发者害怕移植后会有不可预期的问题,而开源机器学习平台MLflow的出现,便是要试图解决这些问题。

tags:

上一篇  下一篇

相关:

停止支援 OpenGL 小型游戏商放弃 macOS 平台 | 香港 UNWIRE.HK 玩生活.乐科技

虽然很多使用 Mac 电脑的用户,并非以电脑来玩游戏,不过未来他们的游戏选择可能会越来越少,因为有部份小型游戏开发商已经酝酿离开,原因和 Apple 的取态和决定有关。Apple 希望游戏开发者使用他们的 Metal 技术,所

Google释出Capillary开源函式库,助Android开发者提供端对端加密推送讯息功能

Google释出了Capillary计划,这计划包含了一个开源函式库,要帮助开发者提供伺服器到Android装置间的端对端加密推送讯息功能,Google表示,要提供端对端加密功能需要一定程度技术,因此他们希望通过Capillary计划中的

GitLab抢客又开一枪,只要开源专案或教育机构用,黄金会员也免费

微软并购GitHub后,引发一大波使用者逃亡潮,在这波开发者迁徙热潮中,GitHub的竞争对手GitLab在一旁坐收了渔翁之利,不仅在社交媒体上得到许多曝光,也接手了许多原本来自GitHub的专案、储存库。而因应这波使用者热

UC Berkeley开源全球最大的自驾车资料集,资料量是百度ApolloScape的800倍

图片来源: UC△Berkeley 加州柏克莱大学(UC△Berkeley)的DeepDrive自驾车实验室上周开源了迄今全球最大的自驾车视频资料集BDD100K,BDD100K让坊间其它的自驾车资料集相形失色,例如百度才在今年3月释出了号称是全球

中艺云联艺术品社交电商平台全面上线,“共享推荐”革新艺术品垂直领域 推荐

为响应党的十三五规划提出的鼓励搭建资源开放共享平台,积极发展分享经济的伟大号召,中艺云联担负起建设文化强国的企业责任,一直坚持“让艺术走近人民”的企业宗旨,凭借着近二十年的行业沉淀与雄厚实力,开拓创新

站长推荐: