彩票走势图

HDFS授权购买
下载：137 收藏：0
查看价格

HDFS (产品编号：13737)

HDFS 是运行在商业硬件上的分布式文件系统

标签：

开发商： Apache

当前版本：

产品类型：控件

产品功能：工业数据采集软件

平台语言：

开源水平：不提供源码

本产品的分类与介绍仅供参考，具体以商家网站介绍为准，如有疑问请来电 023-68661681 咨询。

HDFS 全称为The Hadoop Distributed File System，是运行在通用硬件上的分布式文件系统。它与其它的分布式文件系统有许多相似之处，但也有着非常显著的区别。作为一种支持高容错性，面向低成本硬件部署 的分布式文件系统，HDFS还提供了访问应用程序数据的高吞吐量支持，这非常适用于包含大型数据集的应用程序。

HDFS最初是作为Apache Nutch web搜索引擎项目的基础结构，现在它是Apache Hadoop的子项目。

产品质量分析及预测

界面预览

声明：本产品中文介绍为慧都网版权所有，未经慧都公司书面许可，严禁拷贝、转载！

* 关于本产品的分类与介绍仅供参考，精准产品资料以官网介绍为准，如需购买请先行测试。

特点和目标:

硬件故障检测

硬件故障是一种常态，而不是偶然。整个HDFS系统由数百或数千个存储着文件数据片断的服务器组成。实际上它里面有非常巨大的组成部分，每一个组成部分都很可能出现故障，这就意味着HDFS里的常有一些部件是失效的，因此，故障检测和自动快速恢复是HDFS的一个很核心的设计目标。

数据访问

运行在HDFS之上的应用程序需要通过数据流的方式访问它们的数据集，它们不是运行在普通文件系统之上的普通程序。HDFS被设计成适合批量处理的，而不是用户交互式的。设计重点在于数据吞吐量，而不是数据访问的反应时间，POSIX的很多硬性需求对于HDFS应用都是非必须的，去掉POSIX一小部分关键语义可以获得更好的数据吞吐率。

大数据集

运行在HDFS之上的程序有很大量的数据集。典型的HDFS文件大小是GB到TB的级别。所以，HDFS被调整成支持大文件。它应该提供很高的聚合数据带宽，一个集群中支持数百个节点，一个集群中还应该支持千万级别的文件。

简单一致性模型

大部分的HDFS程序对文件操作需要的是一次写多次读取的操作模式。一个文件一旦创建、写入、关闭之后就不需要修改了。这个假定简单化了数据一致的问题和并使高吞吐量的数据访问变得可能。一个Map-Reduce程序或者网络爬虫程序都可以完美地适合这个模型。

移动计算比移动数据更经济

在靠近计算数据所存储的位置来进行计算是最理想的状态，尤其是在数据集特别巨大的时候。这样消除了网络的拥堵，提高了系统的整体吞吐量。一个假定就是迁移计算到离数据更近的位置比将数据移动到程序运行更近的位置要更好。HDFS提供了接口，来让程序将自己移动到离数据存储更近的位置。

异构软硬件平台间的可移植性

HDFS被设计成可以简便地实现平台间的迁移，这将推动需要大数据集的应用更广泛地采用HDFS作为平台。

更新时间:2016-01-22 14:24:23.000 | 录入时间:2016-01-22 14:03:32.000 | 责任编辑:陈俊吉

相关产品
DeviceXPlorer OPC Server

支持400多种设备通讯协议，便捷的配置，快速实现设备联网采集。

V-Ray Collection

终级三维渲染和模拟工具集

V-Ray for SketchUp

面向建筑师和设计师的快速且易用的渲染插件。

V-Ray for Rhino

面向建筑设计师，汽车设计师，产品设计师的强大渲染软件。

Chaos Cloud

Chaos Cloud 是一键式云渲染解决方案，只需点击按钮Chaos Cloud 会处理好一切。

扫码咨询


添加微信 立即咨询

电话咨询

客服热线
023-68661681

TOP