189 8069 5689

HDFS存储架构和YARN-创新互联

HDFS存储架构和YARN HDFS

HDFS是hadoop的存储单元。在分布式环境中将数据存储为块,遵循主从拓扑。

创新互联网站建设公司,提供成都网站建设、成都做网站,网页设计,建网站,PHP网站建设等专业做网站服务;可快速的进行网站开发网页制作和功能扩展;专业做搜索引擎喜爱的网站,是专业的做网站团队,希望更多企业前来合作!NameNode

分布式环境的主节点,维护存储在HDFS中的数据块的元数据信息。

DateNode

从节点,负责在HDFS中存储数据。NameNode管理所有的DataNode

YARN

Hadoop中的处理框架,管理资源,并为进程提供运行环境

ResourceManager

接受处理请求,将相应的请求传递给相应的NodeManager,在那里执行实际的处理,根据应用程序分配资源

NodeManager

安装在每个DataNode上,负责在每个DataNode上执行任务。

存储架构

NameNode内部以元数据的形式,维护两个文件:FsImage镜像文件和EditLog日志文件。

FsImage镜像文件用于存储整个文件系统命名空间的信息,就是在NameNode启动时对整个文件系统的快照

EditLog日志文件用于持久化记录系统元数据发生的变化,存放了客户端最近一段时间的操作日志

NameNode启动时,FsImage镜像文件会被加载到内存,执行edit文件中的各项操作,使内存中的元数据和实际的数据同步。随着edit的增大,就需要在一定时间点和fsImage进行合并。

你是否还在寻找稳定的海外服务器提供商?创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源,准确流量调度确保服务器高可用性,企业级服务器适合批量采购,新人活动首月15元起,快前往官网查看详情吧


新闻标题:HDFS存储架构和YARN-创新互联
分享URL:http://cdxtjz.cn/article/ioshd.html

其他资讯