原标题：Apache Arrow晋升顶级专案，记忆体式分析技术加速大资料分析

Dremio

Apache软件基金会于2月17日宣布，Apache Arrow晋升成为一个新的顶级专案（Top-Level Project），提供跨系统资料层的栏位记忆体式分析（Columnar In-Memory Analytics），来增进大资料分析的效能和速度。ASF宣称，Arrow可以提升百倍大资料分析的效能，以及可以排除跨系统间的沟通成本，能够支援多系统运作。

Arrow是资料结构、演算法和跨程式语言的组合，提供不同种类的系统共享基础，包含SQL执行引擎（如Drill和Impala）、资料分析系统（如Pandas和Spark）、串流和佇列系统（如Herron、Kafka和Storm），以及储存系统（如Parquet、Kudu、Cassandra和HBase）。

另外，使用者现在可以用C、C++、Python和Java等程式语言来执行Arrow的程式码，Apache Arrow和Drill专案副总裁Jacques Nadeau表示，在未来1至2个月內将增加支援R、JavaScript和Julia。

而Arrow除了支援传统的关联式资料库之外，也支援动态Schema架构的资料，例如，Arrow可以处理物联网、Log档等常用的JSON格式资料。在效能方面，则特别设计Arrow最佳化快取的局部性（Cache Locality）、流量管道（Pipelining）和单一指令多重资料（Single Instruction Multiple Data，SIMD），来发挥CPU的效能。

ASF表示，在许多工作量（Workload）中，70％～80％的CPU循环都用在系统间序列化（Serialize）和解序列化（Deserialize）资料，而Arrow让资料可以不必经过序列化、解序列化或记忆体复制，就能够在系统和处理程序中共享，借此提升CPU的使用效能。

此外，目前已经有13个主要大资料开源专案的开发者联手打造Arrow专案，而这13个开源专案包含了Calcite、Cassandra、Drill、Hadoop、HBase、Impala、Kudu（培育期）、Parquet、Phoenix、Spark、Storm、Pandas和Ibis。Jacques Nadeau表示，ASF预期在未来几年，世界上大多数的资料将会使用Arrow的技术来分析。

tags：

上一篇  下一篇

相关：

额头上有这物的人一生富贵

　　现在大家可以从一个人的面相看出这个人的品质，现在的女性喜欢从一

女人身体这处偏黑离不开男人

　　现在的社会，男女平等了。对于男女感情的问题，也是各有各的看法。

女人身体这处大还带水定好色

　　面相分析中有许多学问，大家看多了之后一定都有自己的理解与看法了

女人这处向上拱竟会六亲不认

　　只是从五官就会让我们看出很多信息，尤其是和命运运势有关的。这就

小指长度超过它一生不愁吃穿

　　男女小指长度超过什么地方一生不愁吃穿呢?在手相学上，我们可以通过

男人这块肉厚定让女人吃喝不愁

　　婚姻生活里，自然男人是顶梁柱的现象比较普遍。这对很多传统女性来

IBM推出开源IoT开发工具Quarks，可降低串流资料分析传输量

图片来源: IBM 日前，IBM释出开源物联网（IoT）开发工具Quarks，提供厂商和程式设计师开发更具效能的物联网

欧股全面上扬 分析师警告短暂现象

由于油价上扬及投资人对中国大陆新的刺激经济措施有期待，欧洲主要股市全部上涨。法新社报导，道琼欧洲600指

男人这处毛发亮天生受女人欢迎

　　我们的身体有很多特征都对命运运势有暗示作用，大家知道吗?可能很多

女人身体这处偏黑竟离不开男人

　　现在的社会，男女平等了。对于男女感情的问题，也是各有各的看法。