红联Linux门户
Linux帮助

Hadoop分布式环境搭建总结(非生产:Rat Hat Linux 6.4+Hadoop_1.

发布时间:2015-04-04 11:35:35来源:linux网站作者:Criss

一.环境准备

1.VMware workstation 9

2.Red Hat linux 6.4版本 32bit

3.JDK版本 jdk-7u45-linux-i586

4.Hadoop jar包 1.2.1版本32位

5.远程登录及ftp工具(自选)

备注:

hadoop安装包下载下载地址:hadoop.apache.org

目前最新版本已经更新到2.2.0 发布版本


二.部署安装步骤

整体分为:

(1)系统安装

(2)JDK安装及创建SSH无密码访问通讯连接

(3)Hadoop解压安装配置

(4)配置网络域名解析及关闭放火墙
2.1 安装系统。

安装好虚拟机后,安装linux系统,注意网络连接方式选择桥接,其他配置根据个人机器情况自行配置。完全分布式共需要准备3个虚拟机。

我设置的实验虚拟机内存为512M 硬盘为10G:
 

节点

节点IP

节点类型

Node01

10.55.15.89

NameNode

Node02

10.55.15.65

DataNode

Node03

10.55.15.91

DataNade

2.2 JDK安装及创建SSH无密码访问通讯连接

1.首先为每台机安装JDK

使用root用户,执行rpm -ivh jdk-7u45-linux-i586.rpm
Hadoop分布式环境搭建总结(非生产:Rat Hat Linux 6.4+Hadoop_1.

用安装结束后,使用java –version 检查是否安装好
Hadoop分布式环境搭建总结(非生产:Rat Hat Linux 6.4+Hadoop_1.

2.SSH创建无密码访问:

a. 使用命令ssh-keygen -t rsa分别为三台节点机创建密钥:

此处,以其中一个节点为图例

中间过程一路回车就可以,无需填写任何东西

然后,打开隐藏目录.shh 查看密钥是否生成
Hadoop分布式环境搭建总结(非生产:Rat Hat Linux 6.4+Hadoop_1.

b. 将共有密钥拷贝一份,重命名为authorized_keys
Hadoop分布式环境搭建总结(非生产:Rat Hat Linux 6.4+Hadoop_1.

c. 将另外两台节点机的共有秒内容也拷贝到authorized_keys的内容中
Hadoop分布式环境搭建总结(非生产:Rat Hat Linux 6.4+Hadoop_1.

d. 将文件 authorized_keys 拷贝到另外两台节点机 .shh 目录下
Hadoop分布式环境搭建总结(非生产:Rat Hat Linux 6.4+Hadoop_1.

e. 配置hosts域名解析
Hadoop分布式环境搭建总结(非生产:Rat Hat Linux 6.4+Hadoop_1.

f. 测试三台节点机的无密码访问联通性及自访问联通性
Hadoop分布式环境搭建总结(非生产:Rat Hat Linux 6.4+Hadoop_1.

2.3 Hadoop解压安装及修改配置文件

将tar包解压,tar –xzvf hadoop-1.2.1.tar.gz
Hadoop分布式环境搭建总结(非生产:Rat Hat Linux 6.4+Hadoop_1.

1. 修改core-site.xml

a.配置Namenode主机及端口号

b.配置制定临时文件夹路径,tmp文件夹要自行创建。

添加内容:

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://node01:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/criss/hadoop/hadoop-1.2.1/tmp</value>

</property>

</configuration>
Hadoop分布式环境搭建总结(非生产:Rat Hat Linux 6.4+Hadoop_1.

2. 修改hadoop-env.sh文件

修改JDK的路径
Hadoop分布式环境搭建总结(非生产:Rat Hat Linux 6.4+Hadoop_1.

3. 修改hdfs-site.xml

节点机数量为2,value为2

添加如下内容:

<property>

<name>dfs.replication</name>

<value>2</value>

</property>
Hadoop分布式环境搭建总结(非生产:Rat Hat Linux 6.4+Hadoop_1.

4. 修改mapred-site.xml

配置job tracter监听端口监听端口

<property>

<name>mapred.job.tracker</name>

<value>node01:9001</value>

</property>
Hadoop分布式环境搭建总结(非生产:Rat Hat Linux 6.4+Hadoop_1.

5. 修改master 和 slaves

修改master文件

添加namenode 主机名

修改slaves

添加datanode 主机名
Hadoop分布式环境搭建总结(非生产:Rat Hat Linux 6.4+Hadoop_1.

6. 配置好的Hadoop文件夹整体拷贝到各个节点。
Hadoop分布式环境搭建总结(非生产:Rat Hat Linux 6.4+Hadoop_1.

2.4闭防火墙

关闭每台机的防火墙:

/etc/init.d/iptables stop 关闭防火墙。
chkconfig iptables off 关闭开机启动。
Hadoop分布式环境搭建总结(非生产:Rat Hat Linux 6.4+Hadoop_1.


三.测试启动Hadoop

执行命令可以在任意机器进行操作。

1. 初始化Namenode

Hadoop namenode –format
Hadoop分布式环境搭建总结(非生产:Rat Hat Linux 6.4+Hadoop_1.

2. 初始化成功后启动

./start-all.sh 启动
Hadoop分布式环境搭建总结(非生产:Rat Hat Linux 6.4+Hadoop_1.

验证Namenode主机进程是否启动成功:
Hadoop分布式环境搭建总结(非生产:Rat Hat Linux 6.4+Hadoop_1.

验证Datanode节点机进程是否启动成功:
Hadoop分布式环境搭建总结(非生产:Rat Hat Linux 6.4+Hadoop_1.

注:以上图片上传到红联Linux系统教程频道中。


到此安装部署过程结束!