红联Linux门户
Linux帮助

64位CentOS下Hadoop2.2.0集群安装

发布时间:2015-04-06 22:09:32来源:linux网站作者:linux人

1、准备环境

三台64位CentOS,安装在VMware虚拟机下。

1)安装中文输入法:

1、需要root权限,所以要用root登录 ,或su root

2、yum install "@Chinese Support"

2)安装ssh或者vsftp

使用chkconfig --list来查看是否装有vsftpd服务;

使用yum命令直接安装:yum install vsftpd

查看与管理ftp服务:

启动ftp服务:service vsftpd start

查看ftp服务状态:service vsftpd status

重启ftp服务:service vsftpd restart

关闭ftp服务:service vsftpd stop

3)jdk安装


2、修改主机名

本人安装一个虚拟机,然后通过虚拟机-》管理-》克隆 完成其他两台机器的安装,现在存在的一个问题就是主机名是一样的,这个明显不是自己想要的,所以需要修改其余两台的主机名。

[root@slaver2 sysconfig]# vi /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=slaver


3、配置/ect/hosts,三台服务器的配置一样

vi /etc/hosts

192.168.21.128  master

192.168.21.131  slaver

192.168.21.130  slaver2


4、创建用户(使用root用户创建后来发现Browse the filesystem 报错,后来查文档,建议使用新建的用户)

useradd  hadoop

passwd hadoop

输入密码,确认


5、ssh无密码登录


6、HADOOP的下载和环境的配置

http://mirror.esocc.com/apache/hadoop/common/hadoop-2.2.0/

[  ] hadoop-2.2.0.tar.gz        07-Oct-2013 14:46  104M

hadoop环境变量的配置:

vi/etc/profile

在文件的最下面添加

export HADOOP_HOME=/usr/zkt/hadoop2.2.0/hadoop-2.2.0

export PAHT=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export HADOOP_LOG_DIR=/usr/zkt/hadoop2.2.0/hadoop-2.2.0/logs

export YARN_LOG_DIR=$HADOOP_LOG_DIR

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

注:在64位操作系统上需要加入一下部分的配置信息

注:/usr/zkt/hadoop2.2.0/hadoop-2.2.0为自定义的下载hadoop文件的解压路径


7、修改Hadoop的配置文件hadoop2.2.0/etc/hadoop

1、修改hadoop-env.sh 确保hadoop运行所需要的java环境

# The java implementation to use.

export JAVA_HOME=/usr/java/jdk1.7.0_55

2、修改core-site.xml文件 定义文件系统的配置

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://master:9000/</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/zkt/hadoop2.2.0/tmp</value>

</property>

</configuration>

3、修改hadfs-site.xml 定义名称节点和数据节点

<configuration>

<property>

<name>dfs.datanode.data.dir</name>

<value>/usr/zkt/hadoop2.2.0/data</value>

<final>true</final>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>/usr/zkt/hadoop2.2.0/hdf/name</value>

<final>true</final>

</property>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

</configuration>

4、修改mapred-site.xml Configurations for MapReduce Applications

<property>

<name>mapred.job.tracker</name>

<value>master:9001</value>

</property>

5、修改yarn-site.xml文件

该文件主要用于:

1、Configurations for ResourceManager and NodeManager:

2、Configurations for ResourceManager:

3、Configurations for NodeManager:

4、Configurations for History Server (Needs to be moved elsewhere):

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>master:8025</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>master:8030</value>

</property>

<property>

<name>yarn.resourcemanager.address</name>

<value>master:8040</value>

</property>


8、创建第7步配置文件中多出的文件夹

data tmp name log mkdir -r /usr/zkt/hadoop2.2.0/data 等


9、为这些文件夹赋权限 比较关键 不然文件生成的时候无文件创建、写权限

su - root

chown -R hadoop:hadoop /usr/zkt/hadoop2.2.0 (不明白的可以查看chown命令)


10、将配置好的hadoop分别拷贝到 slaver 和slaver2主机上

scp -r /usr/zkt/hadoop2.2.0/hadoop-2.2.0 hadoop@slaver:/usr/zkt/hadoop2.2.0/

scp -r /usr/zkt/hadoop2.2.0/hadoop-2.2.0 hadoop@slaver2:/usr/zkt/hadoop2.2.0/


11、hadoop namenode的初始化

如果 hadoop环境变量配置没问题直接使用

hdfs namenode -format

hadoop command not found 解决办法:

echo $PATH

发现hadoop的环境变量是:/home/hadoop/bin 而不是我们配置的环境变量,我们需要把hadoop-2.2.0包下的bin、sbin文件夹拷贝到/home/hadoop/下,再次echo $PATH,发现可以了。


12、启动hadoop

start-all.sh

关闭hadoop

stop-all.sh


13、查看启动的节点进程

jps


14、通过页面请求查看

http://master:50070