接下来开始配置Hadoop了,
一,解压文件
打开一个cygwin,输入以下命令
cd .
explorer .
会弹出一个新窗口,把原来下载的hadoop压缩文件放到里面,并解压。个人认为,其实不一定要放到cygwin的用户根目录下,没试过。
二,配置Hadoop
打开解压出来的文件夹,在 hadoop-0.19.2/conf 目录下有一个 hadoop-site.xml 文件,打开,在原有的
<configuration>
</configuration>间插入
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9100</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9101</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
保存。
三,格式化Name Node
打开一个cygwin,转到hadoop目录下,如果按照前面的解压,直接用cd hadoop-0.19.2就可以了,接着输入以下命令:
mkdir logs
bin/hadoop namenode -format
四,安装Eclipse插件
打开解压后的文件夹,把hadoop-0.19.2/contrib/eclipse-plugin下的hadoop-0.19.2-eclipse- plugin.jar文件拷到eclipse 的plugins目录下,重启eclipse,在Window-》Open Perspective-》other,弹出的窗口中应该有一项Map/Reduce项,代表安装成功了。如果没有的话,把eclipse下的 configuration/org.eclipse.update文件夹删了,再重启eclipse。
五,启动Hudoop集群
启动五个cygwin。
在第一中启动NameNode,执行:
cd hadoop-0.19.2
bin/hadoop namenode
在第二个中启动Secondary NameNode,执行:
cd hadoop-0.19.2
bin/hadoop secondarynamenode
第三个中启动job tracker 执行:
cd hadoop-0.19.2
bin/hadoop jobtracker
第四个中启动data node ,执行
cd hadoop-0.19.2
bin/hadoop datanode
最后一个启动 task tracker, 执行:
cd hadoop-0.19.2
bin/hadoop tasktracker
六,在Eclipse中配置环境
启动eclipse,转到Map/Reduce Perspective,在上图的Map/Reduce Locations里,新建一个Location,填入以下值
* Location Name -- localhost
* Map/Reduce Master
o Host -- localhost
o Port -- 9101
* DFS Master
o Check "Use M/R Master Host"
o Port -- 9100
* User name -- 默认
七,上传文件到HDFS
打开一个cygwin,执行
cd hadoop-0.19.1
bin/hadoop fs -mkdir In
bin/hadoop fs -put *.txt In
这时,在eclipse的Project explorer的DFS location中,应该能反应变化,没有的话,reconnect一下
好了,东西都准备好了,下篇就可以开始创建工程了。
分享到:
相关推荐
基于Eclipse的Hadoop应用开发环境配置
基于Eclipse的Hadoop应用开发环境的配置,叫你一步步的配置一个属于自己的Hadoop环境。
windows下搭建hadoop开发环境(Eclipse)
Eclipse Hadoop 开发环境配置
附件包含eclipse在window7配置hadoop2.7.x 开发环境需要的jar、dll。具体安装步骤可以参考:https://blog.csdn.net/wudichengyaojin/article/details/64440655 可能遇到的问题参考: ...
成功在windows的eclipse连接hadoop 具体步骤如下: 1.使用对应版本的Hadoop jar包 2.错误:winutils.exe not found 解压hadoop-common-2.2.0-bin-master.zip和hadoop_dll2.6.0.7z 。因为是Hadoop2.6环境,所以后者...
基于Eclipse的Hadoop应用开发环境的配置,详细地实践了再eclipse平台上进行hadoop开源的云开发...
Hadoop-Eclipse开发环境配置是搭建完hadoop环境后,进行代码编写必要的环境,
在eclipse上进行Hadoop开发环境的配置
eclipse配置hadoop,并且如何在eclipse中进行mapreduce的开发
Windows 7 or 10 eclipse hadoop2.7.1 配置需要文件和工具
windows环境下的hadoop3.1.0依赖,winutils
Hadoop Eclipse是Hadoop开发环境的插件,用户在创建Hadoop程序时,Eclipse插件会自动导入Hadoop编程接口的jar文件,这样用户就可以在Eclipse插件的图形界面中进行编码、调试和运行Hadop程序,也能通过Eclipse插件...
Linux和Win下配置eclipse开发hadoop
hadoop环境搭建和eclipse开发
Eclipse开发Hadoop相关项目本地配置插件,本地Eclipse相关配置插件和本地电脑部署Hadoop的相关插件
在 Windows 平台下部署 Hadoop 开发环境 hadoop eclipse windows sshd
用于windows下eclipse连接hadoop2.2.0的插件以及eclipse版本,亲测可用
文档针对使用spark做分布式数据处理的windows环境下本地必要配置。
目的很简单,为进行研究与学习,部署一个hadoop运行环境,并搭建一个hadoop开发与测试环境。 具体目标是: 1.在ubuntu系统上部署hadoop 2.在windows 上能够使用eclipse连接ubuntu系统上部署的hadoop进行开发与测试 3...