1:hadoop到底是什么呢,
他是一个解决方案,是一个能够处理大数据量的的分布式处理的解决方案,他是google的模仿衍生产品。
它是利用了google发表的Mapreduce论文编写变成模型和框架。 他主要是把大的任务分割小的任务,并把这些小的任务交给集群上的单点执行。
什么叫做Job呢,在MapReduce中,一个准备提交执行的应用程序叫做:job(作业,就像一个工程一样),而Job呢,太大了,就会分割成成N份,执行于计算机各个节点上,而这种单元叫做 task(任务)。
Hadoop 提供的分布式文件系统(HDFS)主要是来处理各个节点上的存储,并实现了高吞吐率的数据编写。
简单的说,就是一个资源的存储,和一个资源的查找。
hadoop在分布式存储和分布式计算方面,Hadoop都是用了主/从(Master/slave)架构。这里面有一系列的后台(deamon)程序。不同的后台程序扮演者不同的角色,这些角色: NameNode secondaryNameNode,JobTracker,TaskTracker,DataNode,这些名字呢,只要碰过hadoop都会见到,在master节点上呢,主要有的是NameNode,secondaryNameNode,JobTracker,在slave节点上主要是由DataNode,tasktracker。
Master节点,得看系统的大小,而进行不同的部署。当Master大的时候呢,可以对Master中的NameNode 和secondaryNameNode节点,和JobTracker分配部署在两台服务器上。
相关推荐
本书详细地讲述了Hadoop生态圈中最为重要的几个组件。不仅介绍了Hadoop涉及的分布式理论基础知识,还着重讲解Hadoop系统的工程实践应用。为了深入浅出地讲述Hadoop各个组件的运行机理,作者使用了贴切的实战用例
在windows环境下开发hadoop时,需要配置HADOOP_HOME环境变量,变量值D:\hadoop-common-2.7.3-bin-master,并在Path追加%HADOOP_HOME%\bin,有可能出现如下错误: org.apache.hadoop.io.nativeio.NativeIO$Windows....
深入理解Hadoop 第2版
深入理解Hadoop.第2版 带目录
深入理解hadoop书中源码,本书写的还是很好,比较容易读懂
《深入理解Hadoop第2版》 完整版带目录。 分享给需要的朋友
《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf...
Hadoop的配置,在单机环境中的搭建及认识
本书作者基于对Hadoop系统的实践,深入浅出地对Hadoop进行了详细的讲解,包含大量的实例和技巧,可帮助有一定基础的开发者快速掌握分布式系统。主要内容包括:第1章~第4章讲解大数据系统的基本概念、Hadoop系统的...
Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo 的工程师 Doug Cutting 和 Mike Cafarella Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo...
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不...
Hadoop技术内幕 深入理解MapReduce架构设计与实现原理 高清完整中文版PDF下载
本书从hadoop的缘起开始,由浅入深,结合理论和实践,全方位地介绍hado叩这一高性能处理海量数据集的理想工具。全书共14章,3个附录,涉及的主题包括:haddoop简介:mapreduce简介:hadoop分布式文件系统;hadoop的i...
hadoop_tutorial hadoop入门经典 Hadoop 是一个能够对大量数据进行分布式处理的软件框架。Hadoop 是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。...
hadoop2.7.3 Winutils.exe hadoop.dll
hadoop的dll文件 hadoop.zip
深入理解Hadoop(原书第2版)的完整源码及部分素材Hadoop
Hadoop 集群配置详解 Hadoop_Hadoop集群(第1期)_CentOS安装配置 Hadoop_Hadoop集群(第2期)_机器信息分布表 Hadoop_Hadoop集群(第4期)_SecureCRT使用 Hadoop_Hadoop集群(第5期)_Hadoop安装配置 Hadoop_Hadoop...
hadoop-annotations-3.1.1.jar hadoop-common-3.1.1.jar hadoop-mapreduce-client-core-3.1.1.jar hadoop-yarn-api-3.1.1.jar hadoop-auth-3.1.1.jar hadoop-hdfs-3.1.1.jar hadoop-mapreduce-client-hs-3.1.1.jar ...