阔别2年,Hadoop终于再释2.8新版,一次推出近3千项更新
2017-03-29 19:35:13 | 来源:ithome | 投稿:小唯 | 编辑:dations

原标题:阔别2年,Hadoop终于再释2.8新版,一次推出近3千项更新

图片来源:

Hadoop

隔了两年,Hadoop终于又有大改版,Apache基金会近日发布了Hadoop 2.8版,一次新增了2,919项更新功能或新特色。不过,Hadoop官网建议,2.8.0仍有少数功能在测试,要等到释出2.8.1或是2.8.2版才适合用于正式环境。

在2.8版众多更新,主要分布于4大套件,分别是共用套件(Common)、底层分散式档案系统HDFS套件、MapReduce运算套件和YARN分析框架等4个套件。例如,共用套件中,可无上限存取S3档案的Hadoop内建S3A机制,也强化了资料介接弹性,可直接外挂上任何AWS验证的资料来源,也可用hadoop验证API直接取得s3a验证,取代透过XML配置档来设定的方式,还能支援Amazon STS临时验证。另外,新版也开始支援直接存取Azure 资料湖(Data Lake)。这两项功能都有助于简化Hadoop从大型云端储存服务中取得大量分析资料。

除此之外,DFS分散式档案系统,支援非同步重新呼叫(Async Call Retry)和容错转移(Failover),来降低DFS档案系统重连的门槛。安全性方面,新版可透过Servlet过滤器,来防护XFS攻击(跨框架脚本攻击,Cross Frame Scripting)。建置机制,2.8则用Yetus取代了wrapper版本发布方式,还新增了Docker软体包的发布方式,更容易打包建置环境来测试或交换。

HDFS套件则是强化了WebHDFS对伪造跨站请求(Cross-site Request Forgery)的检查来提高安全性,也支援OAuth2验证方式。HDFS还新增了多层式巢状加密区机制,不再只能指定单一个目录加密,也能对目录底下的不同目录也分别建立加密区来强化控管。另外,还採用了新的DataNode协定,可以避免NameNode不正确地回报DataNodes的状态。

虽然大多数Hadoop使用者不会在Windows环境执行程式,但YARN套件还是新增对Windows环境的CPU资源监控。而MapReduce套件的新特色之一则是,发布MapReduce运算任务时,可以顺便加上标籤以便于管理。

tags:暌违   新版   推出   更新

上一篇  下一篇

相关:

英国发行新版硬币 [热点]

实时热点 中新网3月29日电据外媒报道,拥有英格兰、苏格兰、威尔斯、北爱尔兰各自象征物的新版1英镑硬币,在英国启动脱欧程序前夕上市流通。这枚12边形的新硬币...中新网3月29日电 据外媒报道,拥有英格兰、苏格兰、

Amazon以自家客服中心为基础推出AWS云端客服Amazon Connect

图片来源: Amazon AWS(Amazon Web Services)周二(3/28)发表了Amazon Connect云端客服中心,该服务除了可相容于AWS既有的DynamoDB、Amazon Redshift及Amazon Aurora等服务外,也可整合第三方的CRM及分析服务,例如

Kubernetes 1.6新版大变革,新增角色权限控管,丛集上限倍增达5千节点

先前Kubernetes在新版规画中,就预告了1.6版将新增角色存取控制机制(Role-Based Access,RBAC),引起众人高度期待这个可以让容器丛集管理更进一步的功能。果不其然,Google今日正式释出了Kubernetes 1.6版,如期推

英国推“最安全的硬币” [生活]

英国推“最安全的硬币”,货币的仿制让政府最头痛,各国几乎年年都会冒出几起假币案,而且有时还会数额巨大。当地时间2017年3月28日,英国开始流通新12边形1英镑硬币,据英国方面宣称这是最安全的硬币,甚至杜绝了仿

脸书行动程式更新相机功能,增面具特效、24小时限时影像分享功能

图片来源: Facebook 脸书(Facebook)周二(3/28)更新旗下的Facebook程式,準备部署新的相机功能,以及可让照片或影片自动消失的Stories与Direct两种分享功能。新的相机功能提供了数十种特效,像是面具、相框或是互

站长推荐: