本站分享:AI、大数据、数据分析师培训认证考试,包括:Python培训Excel培训Matlab培训SPSS培训SAS培训R语言培训Hadoop培训Amos培训Stata培训Eviews培训

Windows下基于Eclipse的Hadoop开发环境完全配置(二)

hadoop培训 cdadata 3140℃

Windows下基于Eclipse的Hadoop开发环境完全配置(二) 收藏

关键词:hadoop eclipse 配置,eclipse配置hadoop2.6,windows配置hadoop
接下来开始配置Hadoop了,
一,解压文件
打开一个cygwin,输入以下命令
      cd .
      explorer .
会弹出一个新窗口,把原来下载的hadoop压缩文件放到里面,并解压。个人认为,其实不一定要放到cygwin的用户根目录下,没试过。
二,配置Hadoop
打开解压出来的文件夹,在 hadoop-0.19.2conf 目录下有一个 hadoop-site.xml 文件,打开,在原有的
<configuration>
</configuration>间插入
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9100</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9101</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
保存。
三,格式化Name Node
打开一个cygwin,转到hadoop目录下,如果按照前面的解压,直接用cd hadoop-0.19.2就可以了,接着输入以下命令:
mkdir logs
bin/hadoop namenode -format
四,安装Eclipse插件
打开解压后的文件夹,把hadoop-0.19.2contribeclipse-plugin下的hadoop-0.19.2-eclipse- plugin.jar文件拷到eclipse 的plugins目录下,重启eclipse,在Window-》Open Perspective-》other,弹出的窗口中应该有一项Map/Reduce项,代表安装成功了。如果没有的话,把eclipse下的 configurationorg.eclipse.update文件夹删了,再重启eclipse。
五,启动Hudoop集群
启动五个cygwin。
在第一中启动NameNode,执行:
cd hadoop-0.19.2
bin/hadoop namenode
在第二个中启动Secondary NameNode,执行:
cd hadoop-0.19.2
bin/hadoop secondarynamenode
第三个中启动job tracker 执行:
cd hadoop-0.19.2
bin/hadoop jobtracker
第四个中启动data node ,执行
cd hadoop-0.19.2
bin/hadoop datanode
最后一个启动 task tracker, 执行:
cd hadoop-0.19.2
bin/hadoop tasktracker
六,在Eclipse中配置环境
启动eclipse,转到Map/Reduce Perspective,在上图的Map/Reduce Locations里,新建一个Location,填入以下值
    * Location Name — localhost
* Map/Reduce Master
o Host — localhost
o Port — 9101
* DFS Master
o Check “Use M/R Master Host”
o Port — 9100
* User name — 默认
七,上传文件到HDFS
打开一个cygwin,执行
      cd hadoop-0.19.1
bin/hadoop fs -mkdir In
bin/hadoop fs -put *.txt In
这时,在eclipse的Project explorer的DFS location中,应该能反应变化,没有的话,reconnect一下
好了,东西都准备好了,下篇就可以开始创建工程了。
启动Eclipse,
右键点击  Project Explorer 窗口,选择 New -> Project.. 找到 Map/Reduce Project, 点Next ,输入名字。
点击下面的Config Hadoop Install Directiory,输入Hadoop的目录,如:C:cygwinhomeUserhadoop-0.19.2
右键点击新创建的 Hadoop 工程,选择  New -> Other 转到 Map/Reduce 文件夹, 选择 MapReduceDriver 然后点击 Next ,输入名字,点击Finish。
新创建了一个文件,但是有错误,把
conf.setInputPath(new Path(“src”));
conf.setOutputPath(new Path(“out”));
换为
conf.setInputFormat(TextInputFormat.class);
conf.setOutputFormat(TextOutputFormat.class);
FileInputFormat.setInputPaths(conf, new Path(“In”));
FileOutputFormat.setOutputPath(conf, new Path(“Out”));
右键点击文件,选择 Run As –> Run on Hadoop. 弹出以下窗口:
 选择 “Choose existing hadoop location” , 然后选择刚才创建的localhost ,点Finish 就开始运行了.

转载请注明:数据分析 » Windows下基于Eclipse的Hadoop开发环境完全配置(二)

喜欢 (0)or分享 (0)