红联Linux门户
Linux帮助

Apache CarbonData 1.1.0,提高20-50%扫描性能

发布时间:2017-05-20 09:05:33来源:红联作者:baihuo
Apache CarbonData 1.1.0 发布了,CarbonData 是一个为了更快的交互查询而生的 Hadoop 原生文件格式,用于大数据的快速分析和多维度查询 hadoop 本地数据存储设计。

该版本亮点包括:

推出名为 V3 的新数据格式,以提高扫描性能(~20~50%)。

改变表格支持。 (针对 Spark 2.1)

支持批量排序以提高数据加载性能。

通过升级到最新的 netty 框架并为每次加载启动 dictionary 客户端,改进了单次传递负载。

支持将范围内的 filter 进行组合,以提高 filter 性能。

在大集群上进行了多处改进,特别是在查询处理中。

此版本中有 160 多个错误和大量改进。

下载地址:

https://cwiki.apache.org/confluence/display/CARBONDATA/Apache+CarbonData+1.1.0+Release

软件详情:https://cwiki.apache.org/confluence/display/CARBONDATA/Apache+CarbonData+1.1.0+Release

来自:开源中国社区
文章评论

共有 0 条评论