HDFS整体运行机制—Hadoop(3)


HDFS整体运行机制

如下图,用户看到的是一个完整的文件,NameNode节点服务器存用户完整的元数据信息,随后被切成好几块,分别存放在DataNode节点服务器上(为了保证数据安全,NameNode会定期将内存中的数据序列化到本地磁盘,DataNode上会存放相应数量的切片副本)
图:HDFS整体运行机制
综述:一个HDFS系统,由一台运行了NameNode的服务器,和N台运行了DataNode的服务器组成!

================================资料===============================
hdfs:分布式文件系统
hdfs有着文件系统共同的特征:
1、有目录结构,顶层目录是: /
2、系统中存放的就是文件
3、系统可以提供对文件的:创建、删除、修改、查看、移动等功能

hdfs跟普通的单机文件系统有区别:
1、单机文件系统中存放的文件,是在一台机器的操作系统中
2、hdfs的文件系统会横跨N多的机器
3、单机文件系统中存放的文件,是在一台机器的磁盘上
4、hdfs文件系统中存放的文件,是落在n多机器的本地单机文件系统中(hdfs是一个基于linux本地文件系统之上的文件系统)

hdfs的工作机制:
1、客户把一个文件存入hdfs,其实hdfs会把这个文件切块后,分散存储在N台linux机器系统中(负责存储文件块的角色:data node)<准确来说:切块的行为是由客户端决定的>

2、一旦文件被切块存储,那么,hdfs中就必须有一个机制,来记录用户的每一个文件的切块信息,及每一块的具体存储机器(负责记录块信息的角色是:name node)

3、为了保证数据的安全性,hdfs可以将每一个文件块在集群中存放多个副本(到底存几个副本,是由当时存入该文件的客户端指定的)
================================资料===============================


文章作者: Zavir
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 Zavir !
  目录