一、Yarn产生 : 作为Hadoop的一个子项目,Yarn是一个通用的用于运行分布式应用的资源管理器。
1、Mapreduce的缺陷和问题:
由于jobtracker会保存信息在内存中,使用的粗粒度的锁,所以可扩展有瓶颈
2、Yarn要保持现有的mapduce的向后兼容性
3、Yarn : 资源调度器
基本思想: 将jobTracker两个主要的功能分离成单独的组件,一个全局的ResourceManager和每个应用对应的 ApplicationMaster
Yarn 的组件
ResourceManager : 资源管理器 , 一个纯粹的调度器
ApplicationManager: 应用程序管理器,负责与ResourceManager协商资源,并和NodeManager协同工作来执行和监控Container以及它们的资源消耗。
资源模型: 一个应用可以通过ApplicationMaster请求非常具体的资源
ResouceRequest 和 Container
一个应用程序通过ApplicationMaster请求特定的ResourceRequest来满足资源需求
scheduler 会分配一个Container 来响应资源请求
Container是一种资源分配形式,为应用程序授予在特定主机上使用资源
ApplicationMaster取走Container,并交给NodeManager。NodeManager会利用相应的资源来启动Container的任务进程。
相关推荐
Apache Hadoop YARN.pdf完整电子版
Apache Hadoop YARN:Moving beyond MapReduce and Batch Processing with Apach 2 【yarn权威指南】
利用Hadoop YARN ResourceManager 未授权访问getshell工具以及WORD说明
Hadoop 10周年生日之际,CSDN主办的“Hadoop英雄会——暨Hadoop 10周年生日大趴”,Hulu高级研发工程师董西成介绍了Hadoop YARN程序设计与应用案例。
详细介绍Hadoop Yarn的架构以及如何构建Hadoop Yarn。详解介绍如何进行资源调优。
Apache Hadoop YARN: Moving beyond MapReduce and Batch Processing with Apache Hadoop 2 完整版哦,绝对清晰,不是扫描的mobi格式电子书,请使用电子书库calibre (http://calibre-ebook.com/download) 打开。
hadoop、yarn权威指南 HADOOP权威指南 第3版 PDF电子书下载 带目录书签 完整版
赠送jar包:hadoop-yarn-client-2.6.5.jar; 赠送原API文档:hadoop-yarn-client-2.6.5-javadoc.jar; 赠送源代码:hadoop-yarn-client-2.6.5-sources.jar; 赠送Maven依赖信息文件:hadoop-yarn-client-2.6.5.pom;...
赠送jar包:hadoop-yarn-api-2.5.1.jar; 赠送原API文档:hadoop-yarn-api-2.5.1-javadoc.jar; 赠送源代码:hadoop-yarn-api-2.5.1-sources.jar; 赠送Maven依赖信息文件:hadoop-yarn-api-2.5.1.pom; 包含翻译后...
hadoop yarn资源论文详情hadoop yarn资源论文详情 yarn的使用
在Linux系统的Centos7安装hadoop2.9.2版本所需配置的yarn-site.xml配置文件
软件介绍: ...mobi格式的清晰版Apache Hadoop YARN,这个是高清版不是扫描版的,请使用calibre电子书阅读器进行阅读,具体效果可以查看上面的书籍截图。本书深入讲解hadoop2的原理,很详细值得一读。
要内容 Hadoop YARN产生背景 1 Hadoop YARN基本架构 2 运行在YARN上的计算框架 3 YARN发展趋势 4 Hadoop YARN产生背景
详细介绍了Hadoop2.x的资源管理框架yarn,内容丰富,很有帮助。
hadoop yarn优化配置项生成工具,需要安装python环境,执行例如:python yarn-utils.py -c 24 -m 256 -d 4
03_Hadoop MapReduce与Hadoop YARN.zip
英文版,中文书名:Hadoop YARN权威指南。高清完美原书PDF版本,非MOBI版。
HadoopYARN大数据计算框架及其资源调度机制研究,对Yarn的工作机制做一个全面的概述,揭示原理