近期为一些用户培训Hadoop技术,最近也有一些同事、网友开始向我咨询这一方面的问题,很多初学者很难理清Hadoop到底是什么,甚至Hadoop与虚拟化、云计算的关系。
这里给出一个渐进式的学习与进阶方案:
(1)先搭建一个单节点的
Hadoop平台,先将那些疑问放一边,先去学习如何搭建这个平台;
(2)尝试用Hadoop管理各类文件,尝试将数据存放于其非关系型数据库中,尝试编写一个MapReduce程序,通过些步骤,能够大概的认识到Hadoop是一个海量的数据、文件的存放平台,上面提供了各种通用的工具以帮助用户更好的去分析、应用与处理这些数据与文件;
(3)考虑一个问题:如果当前有一个任务交给你,去实现一个TB、乃至PB级数据的海量存取与快速查询,你最后如果实现了这一任务,其实就是实现了一个专用任务的Hadoop平台,考虑到未来有很多类似的任务,将你的专用Hadoop平台改造成通用性平台,以方便其他用户使用,那你可能就真正实现了一个类似于Hadoop的应用系统。用这样的思维去看待Hadoop可能会让用户理解的为更透彻,另外当用户对这个认识模糊时,大可以不用太担心,这多半是由于当前的实际工作可能还用不上,如果真碰到这样的大数据处理,通过思考就能很快理解Hadoop的好处。
(4)实现多节点的安装与部署,并尝试设置节点失效,看一下如何去管理与调度、监测任务的执行。
(5)实现大批量专用工具部署,并尝试实现1万个文件的存取、数千万数据的写入与查询,再去重新认识一下Hadoop。
(6)尝试在工作中开始实现Hadoop。
分享到:
相关推荐
Hadoop学习资料总结,值得推荐阅读学习 很好 非常好 值得拥有
Hadoop学习笔记,自己总结的一些Hadoop学习笔记,比较简单。
1、 hadoop官方网站,首页会有最新动态。 2、 Nutch ->谷歌GFS论文->doug 根据GFS设计了NDFS、06年启动hadoop项目。 3、 环境支持 操作系统 Linux 、WINDOWS-Cygwin、hadoop-for-windows JDK支持 下载jdk,解压jdk...
Hadoop学习总结,内容包括: 1. HDFS简洁 2. HDFS读写过程解析 3. MapReduce入门 4. MapReduce过程解析 5. Hadoop运行痕迹 6. MapReduce源码分析总结
hadoop学习整理的文档
Hadoop 学习笔记.md
java及hadoop学习资料,很全的 java有113节。hadoop讲的也很详细。希望大家认真学习
Hadoop学习必看路线图,
巨大的数据量 •IDC预测全球的数据使用量到2020年会增长44倍,达到35.2ZB (1ZB = 10亿TB) –宽带普及和提速(直接导致访问量、网络访问日志、通讯记录等迅猛增加) –社交网络(Facebook, Twitter, 微博等) ...
有计划的安排大数据的学习之路,可以在对Hadoop的学习规划上有一个更清晰的目标!
hadoop学习笔记,hadoop简介,适用于hadoop入门,讲解hadoop安装,使用,基本原理,大数据,分布式等概念
hadoop学习手册
hadoop 学习笔记,从搭建环境开始到具体实验。包括hdfs配置,yarn配置,分布式配置,如何编写mapreuduce 一步一步手把手,最后项目是hadoop 与 javaweb
hadoop3.1.3学习资料
大数据之Hadoop学习教程+笔记合计_超详细完整.zip
Hadoop 学习总结
Hadoop集群部署方案.docx
Hadoop学习时间轴 MapReduce 记录处理等