红联Linux门户
Linux帮助

Spring for Apache Hadoop 2.5.0.RC1发布

发布时间:2017-06-24 09:06:16来源:红联作者:baihuo
Spring for Apache Hadoop 2.5.0.RC1 发布了。2.5 版本主要是一个错误修复和版本升级发布。

主要更新如下:

General

Add build support for HDP 2.6 [SHDP-583]

Update to CDH version 5.10 [SHDP-584]

Remove Pivotal HD as a build option [SHDP-585]

Update to use latest Spring, Boot, Integration and Security versions [SHDP-586]

Spark

SparkYarnTasklet - improve tasklet configuration for spark/yarn by exposing frequently used settings [SHDP-559]

SparkYarnTasklet: improve configuration to accept classpath properties [SHDP-582]

YARN

Race condition in AbstractEventingAppmaster [SHDP-561]

博客中还透露了关于 Spring for Apache Hadoop 3.0 的计划,团队表示 3.0 版本会基于现有的代码库进行重写,将依赖 Java 代码中的 Spring Boot 配置,不再支持 XML 命名空间。3.0 会专注于 HDFS 读写, Apache Spark 集成和对 Spring Batch 的支持。而 Hive, Pig, HBase 和 MapReduce 这些功能的优先级将会降低。所以 3.0 的重点将是:

Java 8 minimum requirement

Hadoop 3.0 support

Spring Boot 2.0 support

HDFS readers and writers

Spark 2.0 integration

Spring Batch 4.0 item readers and writers plus builders

Spring for Apache Hadoop 提供了 Spring 框架用于创建和运行 Hadoop MapReduce、Hive 和 Pig 作业的功能,包括 HDFS 和 HBase。如果你需要简单的基于 Hadoop 进行作业调度,你可添加 Spring for Apache Hadoop 命名空间到你的 Spring 项目即可快速使用 Hadoop 了,使用该项目无需了解过多 Hadoop 技巧。

Spring for Apache Hadoop 是 Spring Data 的子模块之一。

软件详情:http://docs.spring.io/spring-hadoop/docs/2.5.0.RC1/changelog.txt

下载地址:https://spring.io/blog/2017/06/23/spring-for-apache-hadoop-2-5-0-rc1-released

来自:开源中国社区
文章评论

共有 0 条评论