原标题：Hadoop专家剖析：Hadoop老兵不死，只是凋零，Spark将是新的运算核心
台湾Hadoop社群共同创办人，也是腾学广告资料架构师的王耀聪今日参加Big Data Innovation Summit 2016高峰会时提出他对于Hadoop生态未来发展趋势的最新观察。
今年刚满10岁的Hadoop，风潮却不再。台湾Hadoop社群共同创办人，也是腾学广告资料架构师的王耀聪今日（12/5）在Big Data Innovation Summit 2016高峰会上提出他对于Hadoop生态发展趋势的最新观察，他坦言，纵使技术不断演进，Hadoop仍将会继续存在，只是会慢慢萎缩，简单讲就是「老兵不死，只是凋零。」他说
曾连8年都担任Hadoop社群年会总召的王耀聪，在国网中心任职时期曾建立了台湾第一个Hadoop多丛集架构，也翻译过多本Hadoop技术专书，可以说是在台湾非常了解Hadoop技术演进、生态系和应用发展的专家。
MapReduce和HDFS一直是Hadoop最基础的核心，但近年来，却履履受到一些新兴大数据技术的挑战，比Hadoop晚4年诞生的Spark，採取和Hadoop截然不同的串流技术架构而在近几年迅速暴红，而Google和微软都有用的HCFS（Hadoop Compatible File System）档案系统也要取代HDFS，让Hadoop开始支援原生的HCFS。
针对这些挑战，王耀聪也给出了他的答案。他表示，在大数据技术演进上，无庸置疑的，Spark将会取代MapReduce成为Hadoop的运算核心，不过在档案系统方面，HCFS暂时还无法取代HDFS。王耀聪解释，这是因为目前多数的Hadoop应用都是在以大档案储存使用的资料仓储为主，HCFS适用在小档案，较不适合用在储存大档案；并且HCFS会将储存和运算分开，而失去资料在地性的好处，以致于无法活用Hadoop原本善于缩短储存与运算距离的优势，而影响了效能。另外换掉了最底层的储存层，意味着上层的运算和应用层通通都跟着改，有没有做相同的配套机制，以及安全和品管也都是一大问题。
不过，王耀聪表示，即使是面对新兴大数据技术的挑战，Hadoop也并非完全只是坐以待毙，而是积极也想要巩固住自己的地位，而不被取代掉，因此在新版Hadoop 3.0大幅提升Hadoop的功能。Hadoop 3.0 Beta版已在今年9月释出，将在明年初推出正式版。
王耀聪指出，Hadoop 3.0的最大进展就是让储存的效率变更好，来减少企业建构Hadoop丛集的成本，并具备有更高的可用性，支援更多运算节点，以及减少Job Submission的启动时间等。
他也以Hadoop 3.0新增的一个档案系统机制来举例说明。传统Hadoop的档案系统适用于大档案，一直以来都有一个怕小档案的问题，此外在储存效率上，数据要同时建3份副本，成本就会高，因此新版Hadoop 3.0中顺势推出HDFS-HC（HDFS-Erasure Coding）新功能，让Hadoop也可以用在小档案上并具备有更好的储存效率。「Hadoop未来将会有一个位置是不可撼动的，就是在最底层的储存层。」王耀聪说。
除了展望Hadoop的未来发展，王耀聪也提到Hadoop在台湾发展运用的最新情况。他表示，台湾推动Hadoop算是走的相当早，目前Hadoop的应用已经能跨多产业，导入最快的产业，是来自电信业，后来，开始有电商、零售和游戏业者纷纷加入，去年也开始有金融、广告和製造业开始导入Hadoop，用于提升风险管理、'强化客户体验、达到精準的市场行销，以及降低营运成本等方面。
王耀聪原本认为Hadoop在台湾会形成一个产业，但他现在更倾向认为，Hadoop将会发展成为一个用来满足数据驱动（Data Drive ）的垂直领域，而非一个产业，纵使技术会一直演进，但他表示，未来这个生态系将会继续存在，以满足数据驱动的垂直产业应用。
不过相较于导入的企业变多了，应用已跨多产业，王耀聪也忧心表示，这些具备有Hadoop技术能力的企业却变少了，目前台湾在Hadoop技术方面的人才不断流失，而多是仰赖系统整合商与噹关代理商，但单一厂商的专业人力却逐渐下滑，也得台湾Hadoop生态系供应商日益式微，这也是不得不加以解决的迫切问题。
相关：
怀孕未满3个月，因为不稳定而不要说的禁忌，虽然是民间传说，但在临床上，妊娠12周前的不稳定却是常见的自然情况，有了临床经验的湊巧佐证，久而久之，怀孕3个月前不要说的民间习惯也在其中悄悄获得合理支持。【妊娠
（中央社台北5日电）大陆关于雾霾的笑话很多，有个笑话令人深思：“小明坚持锻炼身体，天天早上在马路上跑步锻炼，3年后得肺癌死了”。因为雾霾，在大陆户外运动反而有害健康，专家建议可以用做家事代替。澎湃新闻报
今年首波冷气团还要再等等，专家吴德荣今天表示，本周冷空气接踵而至，但由于分股南下，强度受限，应难达大陆冷气团等级。本周冷空气一波接一波，中央气象局表示，今天晚间东北季风南下，明天清晨到周三，北台湾低温
实时热点 腾讯娱乐讯 据台湾媒体报道,台湾星座专家薇薇安(本名陈佳瑛)2日惊传因乳癌病逝的消息,将于16日在第一殡仪馆举办告别式,家属希望低调处理,希望外界别...而她11岁时还有个妹妹早逝,父母亲二度经历白发人送
把握周日天气晴，气象专家吴德荣今天表示，明天起冷空气接踵而至，周五抵达的冷空气强度较强，可能接近大陆冷气团定义，但还要再观察2至3天，判断才会更恰当。中央气象局今天表示，今天全台各地天气多云到晴，仅东半