红联Linux门户
Linux帮助

Spark发布0.5.1更新

发布时间:2012-10-14 21:26:50来源:红联作者:empast
Spark终于迎来了0.5.0之后的一次小更新,这次更新主要是修正了0.5.0中的一些小Bug,并为下一个大版本0.6.0做好准备

这次的发布主要包括:

- Maven发布:Spark现在可以在Maven中心库被找到,可以更加方便的在其它项目中使用

- Scala版本更新:项目现在默认依赖Scala 2.9.2

- Bug修复:修复了大Reduce任务中可能发生的数据丢失现象,以及在排序操作中选择和抽样分区的时候的算法

- 改进了计数器:一个新的实现了Accumulator接口的Accumulable类,通过避免在很多情况下,创建临时对象,从而提高了性能( Imran Rashid 贡献)

更新后的Spark,在稳定性上会比以前有所改进,更大的提升,还是要等待0.6.0,顺利的话,在年底前可以发布。

主页:http://www.spark-project.org/

下载:http://www.spark-project.org/downloads.html

来自:开源中国社区
文章评论

共有 0 条评论