Hadoop (产品编号:13444)

Hadoop是一个允许跨集群的分布式处理大型数据集的开源软件

标签:开源Hadoop

开发商: Apache

当前版本: v2.6.1

产品类型:软件

产品功能:

平台语言:

开源水平:提供源码

用户推荐:

用户评分:

关于本产品的分类与介绍仅供参考,具体以商家网站介绍为准。

同类软件推荐:

Asta VoIP
Asta VoIP

Asta VoIP可通过IP执行H322 VoIP标准版,并对Win32客户端应用程序实行免费授权分配方式。

ApexSQL Log
ApexSQL Log

ApexSQL Log是一个SQL误操作恢复工具。

阅读更多
Hadoop是一个允许跨集群的分布式处理大型数据集的开源软件。它的目的是扩大从单一服务器到成千上万的机器,每一个地方计算和存储,而不是依赖硬件交付高可用性。Hadoop本身的目的是为服务集群的计算机,提供在应用程序层检测和处理失败。
需要培训、定制、外包?请联系我们!企业QQ:800018081 慧都专业技术团队帮助您提高效率,节省成本,降低风险!

关于本产品的分类与介绍仅供参考,精准产品资料以官网介绍为准,如需购买请先行测试。

Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点:

  1. 高可靠性——Hadoop按位存储和处理数据的能力值得人们信赖。
  2. 高扩展性——Hadoop是在可用的计算机集簇间分配数据并完成计算任务的,这些集簇可以方便地扩展到数以千计的节点中。
  3. 高效性——Hadoop能够在节点之间动态地移动数据,并保证各个节点的动态平衡,因此处理速度非常快。
  4. 高容错性——Hadoop能够自动保存数据的多个副本,并且能够自动将失败的任务重新分配。
  5. 低成本——与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比,hadoop是开源的,项目的软件成本因此会大大降低。

Hadoop由许多元素构成。其架构元素包括:

HDFS——对外部客户机而言,HDFS就像一个传统的分级文件系统。可以创建、删除、移动或重命名文件,等等。但是HDFS的架构是基于一组特定的节点构建的,这是由它自身的特点决定的。这些节点包括 NameNode,它在HDFS内部提供元数据服务;DataNode,它为HDFS提供存储块。

NameNode——NameNode是一个通常在HDFS实例中的单独机器上运行的软件。它负责管理文件系统名称空间和控制外部客户机的访问。NameNode决定是否将文件映射到DataNode上的复制块上。对于最常见的3个复制块,第一个复制块存储在同一机架的不同节点上,最后一个复制块存储在不同机架的某个节点上。

DataNode——ataNode 也是一个通常在HDFS实例中的单独机器上运行的软件。Hadoop 集群包含一个NameNode 和大量 DataNode。DataNode通常以机架的形式组织,机架通过一个交换机将所有系统连接起来。Hadoop 的一个假设是:机架内部节点之间的传输速度快于机架间节点的传输速度。

Linux 集群——Hadoop框架可在单一的Linux平台上使用。

Hadoop项目模块:

Hadoop Common——常见的实用程序,支持其他Hadoop模块。

Hadoop Distributed File System (HDFS™)——一个分布式文件系统,它提供了高通量访问应用程序数据。

Hadoop YARN——一个集群作业调度和资源管理的框架。

Hadoop MapReduce——YARN-based系统并行处理大型数据集。

类型 标题 发布时间
版本更新 Hadoop v2.6.1

Hadoop更新至v2.6.1

2015-10-22 17:12:42.000
文章 为Hadoop数据安全性担忧?Cloudera这个方案真靠谱!

Cloudera企业版解决方案,采用企业数据中心的静态数据加密和安全密钥管理,为您保护好Hadoop数据,安全性杠杠的!

2019-03-20 10:32:57.000
文章 干货|不同文件格式和存储引擎在Apache Hadoop生态系统中的性能比较

本篇博文对Apache Hadoop生态系统中可用的几种流行数据格式和存储引擎进行了性能比较。这些内容将有助于用户理解如何(以及何时)可以改善大数据工作负载的处理。

2019-03-19 10:16:01.000
视频 cognos数据分析助人人游戏

cognos数据分析助人人游戏

2016-01-06 16:44:43.000
视频 Hadoop视频教程:Pig安装与Pig Latin语言,应用案例(四)

Hadoop视频教程:Pig安装与Pig Latin语言,应用案例(四)

2014-10-15 17:23:48.000

更新时间:2016-01-22 14:27:59.000 | 录入时间:2014-06-04 10:55:28.000 | 责任编辑:佚名

登录慧都网发表评论登录


暂无评论...
在线客服 在线QQ 电话咨询
400-700-1020
在线客服系统
live chat