环境:Ubuntu11.4
准备工作:
a.先安装jdk
b.修改/etc/hosts,绑定10.16.110.7master(最好不要用127.0.0.1localhost后面会出现意想不到的错误)
1.下载hadoop-1.0.2
在linux下执行wgethttp://apache.etoak.com/hadoop/common/hadoop-1.0.2/hadoop-1.0.2.tar.gz
解压tarzxvfhadoop-1.0.2.tar.gz
cdhadoop-1.0.2/目录
2、配置hadoop伪分布式环境,运行hadoop
进入conf目录
修改conf/core-site.xml
<?xmlversion="1.0"?>
<?xml-stylesheettype="text/xsl"href="configuration.xsl"?>
<!--Putsite-specificpropertyoverridesinthisfile.-->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
</configuration>
~
<!--fs.default.name-这是一个描述集群中NameNode结点的URI(包括协议、主机名称、端口号),集群里面的每一台机器都需要知道NameNode的地址。DataNode结点会先在NameNode上注册,这样它们的数据才可以被使用。独立的客户端程序通过这个URI跟DataNode交互,以取得文件的块列表。-->
修改conf/mapred-site.xml
<?xmlversion="1.0"?>
<?xml-stylesheettype="text/xsl"href="configuration.xsl"?>
<!--Putsite-specificpropertyoverridesinthisfile.-->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
</property>
</configuration>
<!--mapred.job.tracker-JobTracker的主机(或者IP)和端口。-->
修改conf/hdfs-site.xml
<?xmlversion="1.0"?>
<?xml-stylesheettype="text/xsl"href="configuration.xsl"?>
<!--Putsite-specificpropertyoverridesinthisfile.-->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
<!--dfs.replication-它决定着系统里面的文件块的数据备份个数。对于一个实际的应用,它应该被设为3(这个数字并没有上限,但更多的备份可能并没有作用,而且会占用更多的空间)。少于三个的备份,可能会影响到数据的可靠性(系统故障时,也许会造成数据丢失)-->
修改conf/hadoop-env.sh配置JAVA_HOMEexportJAVA_HOME=/home/yongkang/tools/java
在/conf/master中加入主机的ip10.16.110.7
在/conf/salves中加入slaves机器10.16.110.7
运行:
格式化分布式文件系统:$bin/hadoopnamenode–format
启动hadoop进程:$bin/start-all.sh
是否启动成功,可访问以下url
NameNode–http://10.16.110.7:50070/
JobTracker–http://10.16.110.7:50030/
如果不能访问,检查logs目录下的日志分析原因。
正常运行后,执行jps命令,应该可以看到有5个hadoop相关进程
:yongkang@yongkang-OptiPlex-760:~/tools/hadoop-1.0.2/bin$2>yongkang@yongkang-OptiPlex-760:~/tools/hadoop-1.0.2/bin$jps
26999Jps
11937SecondaryNameNode
11413NameNode
12024JobTracker
12281TaskTracker
11662DataNode
分享到:
相关推荐
Hadoop 学习笔记.md
hadoop学习笔记.rarhadoop学习笔记.rarhadoop学习笔记.rarhadoop学习笔记.rarhadoop学习笔记.rarhadoop学习笔记.rarhadoop学习笔记.rar
hadoop学习笔记,hadoop简介,适用于hadoop入门,讲解hadoop安装,使用,基本原理,大数据,分布式等概念
Hadoop 适合初学者 Hadoop2.0 hbase 什么时候用HBase: 确信有足够多数据 确信可以不依赖所有RDBMS的额外特性(列数据类型/第二索引/事物/高级查询语言) 确信有足够硬件
Hadoop学习笔记,自己总结的一些Hadoop学习笔记,比较简单。
hadoop 学习笔记,从搭建环境开始到具体实验。包括hdfs配置,yarn配置,分布式配置,如何编写mapreuduce 一步一步手把手,最后项目是hadoop 与 javaweb
Hadoop Hive入门学习笔记.pdf
云计算,hadoop,学习笔记, dd
我学习hadoop的笔记,并在公司做的报告,给大家共享下
支持大数据学习者,共同探索大数据的奥秘,陆续会推出其他学习资源,十分的简单易懂,欢迎下载,适合入门选手学习使用
Hadoop学习笔记
Hadoop学习笔记AAAAAAAAAAA
踏入hadoop的世界,一个不一样的世界
大数据之Hadoop学习教程+笔记合计_超详细完整.zip
《Hadoop权威指南》学习笔记.pdf
hadoop集群安装笔记,我个人在自己的本机虚拟3台机器,搭建hadoop的学习环境,在安装过程中,出现这样那样的问题,并记录下来分享给大家,希望都新手有帮助。
hadoop学习笔记,分天学习,原创,亲测,放心使用,没问题。