Hadoop与Hbase的配置

关键词： hadoop hbase 配置 hadoop与hbase的关系 hadoop和hbase的关系

1.在Apache/Hadoop项目的网站(hadoop.apache.org/)下载hadoop以及hbase的发行包
hadoop-0.20.2.tar.gz    hbase-0.90.0.tar.gz

2.使用root身份登录目标服务器系统(Suse10 Linux),首先安装java的jdk，它的home目录是/usr/jlocal/jdk
另外到 /etc/hosts 文件中查看主机映射是否存在如果需要做分布式的话,本机要做namenode,所以要把所有的datanode的 host添加到这里面.

3.创建hadoop用户, $useradd hadoop 可以用 $passwd hadoop 修改hadoop用户的登录密码.

4.创建hadoop用户的home目录,如果打算在别处安装hadoop/hbase的话可以不这样做,这里我们默认将hadoop/hbase安装在/home/${username}目录下.
$cd /home
$mkdir hadoop
将目录用户指派给hadoop
$chown hadoop hadoop
改变目录权限,这里我们配大一些,其实只要644就足够了:
$chmod 755 hadoop

5.使用hadoop用户登录系统,将下载的两个发行包文件传到/home/hadoop目录下面,然后给它们加上执行权限:
$chmod a+x hadoop-0.20.2.tar.gz
$chmod a+x hbase-0.90.0.tar.gz

6.解压hadoop:
$tar zxvf hadoop-0.18.2.tar.gz
这样做会在/home/hadoop目录下解压hadoop发行包并创建到/home/hadoop/hadoop-0.20.2目录中

7.修改hadoop环境脚本:
修改文件/home/hadoop/hadoop-0.20.2/conf/hadoop-env.sh,在其中加入JAVA_HOME变量: export JAVA_HOME=/usr/local/jdk
HADOOP_HOME变量我们可以不设置,默认的情况是指定HADOOP_HOME为运行启动脚本当前目录的父目录.

8.修改hadoop启动配置:

接下來的設定檔共有3個 core-site.xml, hdfs-site.xml, mapred-site.xml

1.core-site.xml

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/var/hadoop/hadoop-${user.name}</value>
  </property>
</configuration>

2.hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

 3.mapred-site.xml

 <configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
  </property>
</configuration>

 9.格式化nodename及启动hdfs守护进程:
$/home/hadoop/hadoop-0.20.2/bin/hadoop namenode -format
$/home/hadoop/hadoop-0.20.2/bin/start-all.sh
使用shart-all.sh可以方便的启动所有的hdfs守护进程,如果想关闭这些守护进程可以使用stop-all.sh脚本.
启动过程中需要输入登录密码.
启动成功后可以用以下简单方法测试hdfs:
$/home/hadoop/hadoop-0.20.2/bin/hadoop fs -mkdir dir4test
$/home/hadoop/hadoop-0.20.2/bin/hadoop fs -ls
$/home/hadoop/hadoop-0.20.2/bin/hadoop fs -put /home/hadoop/file4test.zip file4test_temp.zip
相当于linux系统下的mkdir ls cp命令.

10.解压hbase发行包:
$tar zxvf hbase-0.20.2.tar.gz

11.修改hbase环境脚本:
修改文件/home/hadoop/hbase-0.20.4/conf/hbase-env.sh,在其中加入JAVA_HOME变量: export JAVA_HOME=/opt/IBM/WebSphere/AppServer/java
简单启动暂时不需要在用户配置文件/home/hadoop/hbase-0.18.1/conf/hbase-site.xml添加任何替代属性.

12.启动hbase:
$/home/hadoop/hbase-0.20.4/bin/start-hbase.sh
成功启动hbase的守护进程.
启动hbase hql shell:
$/home/hadoop/hbase-0.20.4/bin/hbase shell
在hql shell中可以进行hbase数据操作,如果需要帮助信息可以键入:
hbase>help
简单测试hbase:
在hbase shell下:
hbase>create 't1','f1','f3'
hbase>list

配置 hbase

(1)编辑$HBASE_HOME/conf/ hbase-env.sh配置环境变量JAVA_HOME;

(2)编辑$HBASE_HOME/conf/hbase-site.xml, 增加如下配置(与Hadoop保持一致)：

<property>
 <name>hbase.rootdir</name>
 <value>hdfs://localhost:9000/hbase</value>
 <description>The directory shared by region servers.
 </description>
 </property>

转载请注明：数据分析 » Hadoop与Hbase的配置_hadoop与hbase的关系