欢迎光临澳洲幸运5家具材料有限公司

澳洲幸运5_澳洲幸运5登录-快乐从这里开始!

全球时尚环保宿舍家具制造商

做更懂年轻人想要的宿舍家具

宿舍家具定制热线

400-123-4567
当前位置:主页 > 新闻资讯 > 行业新闻 >

Hadoop漫衍式文件澳洲幸运5系统:架构和设计

文章出处:网络整理 人气:发表时间:2021-09-09 08:59


PDF

Hadoop漫衍式文件系统:架构和设计

引言

Hadoop漫衍式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的漫衍式文件系统。它和现有的漫衍式文件系统有许多配合点。但同时,它和其他的漫衍式文件系统的区别也是很明明的。HDFS是一个高度容错性的系统,适合陈设在便宜的呆板上。HDFS能提供高吞吐量的数据会见,很是适合大局限数据集上的应用。HDFS放宽了一部门POSIX约束,来实现流式读取文件系统数据的目标。HDFS在最开始是作为Apache Nutch搜索引擎项目标基本架构而开拓的。HDFS是Apache Hadoop Core项目标一部门。这个项目标地点是https://hadoop.apache.org/core/

前提和设计方针

硬件错误

硬件错误是常态而不是异常。HDFS大概由成百上千的处事器所组成,每个处事器上存储着文件系统的部门数据。我们面临的现实是组成系统的组件数目是庞大的,并且任一组件都有大概失效,这意味着老是有一部门HDFS的组件是不事情的。因此错误检测和快速、自动的规复是HDFS最焦点的架构方针。

流式数据会见

运行在HDFS上的应用和普通的应用差异,需要流式会见它们的数据集。HDFS的设计中更多的思量到了数据批处理惩罚,而不是用户交互处理惩罚。比之数据会见的低延迟问题,更要害的在于数据会见的高吞吐量。POSIX尺度配置的许多硬性约束对HDFS应用系统不是必须的。为了提高数据的吞吐量,在一些要害方面临POSIX的语义做了一些修改。

大局限数据集

运行在HDFS上的应用具有很大的数据集。HDFS上的一个典范文件巨细一般都在G字节至T字节。因此,HDFS被调理以支持大文件存储。它应该能提供整体上高的数据传输带宽,能在一个集群里扩展到数百个节点。一个单一的HDFS实例应该能支撑数以千万计的文件。

简朴的一致性模子

HDFS应用需要一个“一次写入多次读取”的文件会见模子。一个文件颠末建设、写入和封锁之后就不需要改变。这一假设简化了数据一致性问题,而且使高吞吐量的数据会见成为大概。Map/Reduce应用可能网络爬虫应用都很是适合这个模子。今朝尚有打算在未来扩充这个模子,使之支持文件的附加写操纵。

“移动计较比移动数据更划算”

一个应用请求的计较,离它操纵的数据越近就越高效,在数据到达海量级此外时候更是如此。因为这样就能低就逮络阻塞的影响,提高系统数据的吞吐量。将计较移动到数据四周,比之将数据移动到应用地址显然更好。HDFS为应用提供了将它们本身移动到数据四周的接口。

异构软硬件平台间的可移植性

HDFS在设计的时候就思量到平台的可移植性。这种特性利便了HDFS作为大局限数据应用平台的推广。

Namenode 和 Datanode

HDFS回收master/slave架构。一个HDFS集群是由一个Namenode和必然数目标Datanodes构成。Namenode是一其中心处事器,认真打点文件系统的名字空间(namespace)以及客户端对文件的会见。集群中的Datanode一般是一个节点一个,认真打点它地址节点上的存储。HDFS袒露了文件系统的名字空间,用户可以或许以文件的形式在上面存储数据。从内部看,一个文件其实被分成一个或多个数据块,这些块存储在一组Datanode上。Namenode执行文件系统的名字空间操纵,好比打开、封锁、重定名文件或目次。它也认真确定命据块到详细Datanode节点的映射。Datanode认真处理惩罚文件系统客户端的读写请求。在Namenode的统一调治下举办数据块的建设、删除和复制。

Namenode和Datanode被设计成可以在普通的商用呆板上运行。这些呆板一般运行着GNU/Linux操纵系统(OS)。HDFS回收Java语言开拓,因此任何支持Java的呆板都可以陈设Namenode或Datanode。由于回收了可移植性极强的Java语言,使得HDFS可以陈设到多种范例的呆板上。一个典范的陈设场景是一台呆板上只运行一个Namenode实例,而集群中的其它呆板别离运行一个Datanode实例。这种架构并不排出在一台呆板上运行多个Datanode,只不外这样的环境较量少见。

集群中单一Namenode的布局大大简化了系统的架构。Namenode是所有HDFS元数据的仲裁者和打点者,这样,用户数据永远不会流过Namenode。

文件系统的名字空间 (namespace)

同类文章排行

最新资讯文章