Spring for Apache Hadoop 2.5.0.RC1 发布了。2.5 版本主要是一个错误修复和版本升级发布。
主要更新如下:
General
Add build support for HDP 2.6 [SHDP-583]
Update to CDH version 5.10 [SHDP-584]
Remove Pivotal HD as a build option [SHDP-585]
Update to use latest Spring, Boot, Integration and Security versions [SHDP-586]
Spark
SparkYarnTasklet - improve tasklet configuration for spark/yarn by exposing frequently used settings [SHDP-559]
SparkYarnTasklet: improve configuration to accept classpath properties [SHDP-582]
YARN
Race condition in AbstractEventingAppmaster [SHDP-561]
博客中还透露了关于 Spring for Apache Hadoop 3.0 的计划,团队表示 3.0 版本会基于现有的代码库进行重写,将依赖 Java 代码中的 Spring Boot 配置,不再支持 XML 命名空间。3.0 会专注于 HDFS 读写, Apache Spark 集成和对 Spring Batch 的支持。而 Hive, Pig, HBase 和 MapReduce 这些功能的优先级将会降低。所以 3.0 的重点将是:
Java 8 minimum requirement
Hadoop 3.0 support
Spring Boot 2.0 support
HDFS readers and writers
Spark 2.0 integration
Spring Batch 4.0 item readers and writers plus builders
Spring for Apache Hadoop 提供了 Spring 框架用于创建和运行 Hadoop MapReduce、Hive 和 Pig 作业的功能,包括 HDFS 和 HBase。如果你需要简单的基于 Hadoop 进行作业调度,你可添加 Spring for Apache Hadoop 命名空间到你的 Spring 项目即可快速使用 Hadoop 了,使用该项目无需了解过多 Hadoop 技巧。
Spring for Apache Hadoop 是 Spring Data 的子模块之一。
软件详情:http://docs.spring.io/spring-hadoop/docs/2.5.0.RC1/changelog.txt
下载地址:https://spring.io/blog/2017/06/23/spring-for-apache-hadoop-2-5-0-rc1-released
来自:开源中国社区

