hadoop安装配置超详细步骤_hadoop安装配置
上一期我们讲了什么是hadoop,这一期我们讲hadoop的安装部署。hadoop安装并不难,一共有三种部署方式,分别是本地部署、伪分布部署、集群部署。由于hadoop伪分布模式的工作原理和集群模式的工作原理一样,这里我们以伪分布模式为例进行讲解。
工具/原料
-
rhel6.4操作系统、jdk-6u20-linux-i586.bin、hadoop-1.2.1.tar.gz
方法/步骤
-
首先讲讲安装思路。一、搭建系统环境,配置ip,主机名,设置ssh无密码登录;二、配置jdk环境;三、安装部署hadoop。
-
一、我们首先讲系统环境的配置。<1>为系统配置一个ip地址,由于较简单,这里不做赘述。我这里做了双网卡绑定,IP地址为192.168.142.10。
-
<2>为系统配置主机名。命令:vi /etc/sysconfig/network。(注:主机名修改完成后需要重启主机)
-
<3>添加hosts解析记录,命令:vi /etc/hosts,具体内容如图片中所示。
-
<4>配置ssh无密码认证。执行如下命令:ssh-keygen。此处如果不会可以一直敲回车。执行完之后,将密钥拷贝到认证文件中,命令:ssh-copy-id 192.168.142.10,然后根据提示进行操作。
-
二、接下来配置jdk。<1>首先将下载下来的jdk-6u20-linux-i586.bin拷贝至rhel6.4系统中的/usr/local目录中。注:可以通过winscp这个工具进行拷贝,也可以通过xftp进行拷贝。
-
<2>解压缩jdk,首先赋予jkd文件执行权限。命令:chmod a+x /usr/local/jdk-6u20-linux-i586.bin;解压缩命令:./jdk-6u20-linux-i586.bin;然后依据提示进行操作。解压后会生成一个目录:jdk1.6.0_20,为了便于后期配置java环境变量,我们把这个目录重命名为jdk,命令:mv /usr/local/jdk1.6.0_20 /usr/local/jdk;
-
<3>接着配置jdk环境变量,编辑/etc/profile文件,添加图片中标红的内容。命令:vi /etc/profile
-
三、安装部署hadoop。<1>首先从官网下载hadoop软件包,这里我们下载的是hadoop-1.2.1.tar.gz版本。然后拷贝rhel6.4的/usr/local目录下,并解压缩。命令:tar zxvf hadoop-1.2.1.tar.gz;解压后会生成一个名为 hadoop-1.2.1的目录,我们接着把这个目录重命名为hadoop。命令:mv /usr/local/hadoop-1.2.1 /usr/loca/hadoop;
-
<2>接着配置hadoop家目录环境变量。vi /etc/profile,添加图片所示内容。
-
<3>接下来我们需要改四个配置文件hadoop-env.sh;core-site.xml;hdfs-site.xml;mapred-site.xml;
-
<4>首先修改hadoop-env.sh文件,配置如图所示。
-
<5>接下来我们修改core-site.xml配置文件,具体如图所示。
-
<6>接下来修改hdfs-site.xml文件,具体如图所示。
-
<7>然后修改mapred-site.xml文件具体内容如图所示。
-
<8>接下来在启动hadoop之前需要格式化hdfs。命令:hadoop namenode -format;
-
<9>启动hadoop并验证。启动命令:start-all.sh;验证命令:jps
-
至此,hadoop伪分布模式就已经安装完成,不知对您是否有所启发。(来源:百度经验)
转载请注明:数据分析 » hadoop安装配置超详细步骤_hadoop安装配置