Hadoop

Hadoop是一个允许跨集群的分布式处理大型数据集的开源软件

产品类型: 软件 产品功能: 其它 平台语言: 源码: 提供源码 产品编号: 13444
  • 当前版本:v2.6.1 [销售以商家最新版为准,如需其他版本,请来电咨询]
  • 开  发 商:Apache 正式授权

关于本产品的分类与介绍仅供参考,具体以商家网站介绍为准。加企业QQ:800018081 咨询该产品

慧都学院
中文   |   英文
Hadoop是一个允许跨集群的分布式处理大型数据集的开源软件。它的目的是扩大从单一服务器到成千上万的机器,每一个地方计算和存储,而不是依赖硬件交付高可用性。Hadoop本身的目的是为服务集群的计算机,提供在应用程序层检测和处理失败。
需要培训、定制、外包?请联系我们!企业QQ:800018081 慧都专业技术团队帮助您提高效率,节省成本,降低风险!

Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点:

  1. 高可靠性——Hadoop按位存储和处理数据的能力值得人们信赖。
  2. 高扩展性——Hadoop是在可用的计算机集簇间分配数据并完成计算任务的,这些集簇可以方便地扩展到数以千计的节点中。
  3. 高效性——Hadoop能够在节点之间动态地移动数据,并保证各个节点的动态平衡,因此处理速度非常快。
  4. 高容错性——Hadoop能够自动保存数据的多个副本,并且能够自动将失败的任务重新分配。
  5. 低成本——与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比,hadoop是开源的,项目的软件成本因此会大大降低。

Hadoop由许多元素构成。其架构元素包括:

HDFS——对外部客户机而言,HDFS就像一个传统的分级文件系统。可以创建、删除、移动或重命名文件,等等。但是HDFS的架构是基于一组特定的节点构建的,这是由它自身的特点决定的。这些节点包括 NameNode,它在HDFS内部提供元数据服务;DataNode,它为HDFS提供存储块。

NameNode——NameNode是一个通常在HDFS实例中的单独机器上运行的软件。它负责管理文件系统名称空间和控制外部客户机的访问。NameNode决定是否将文件映射到DataNode上的复制块上。对于最常见的3个复制块,第一个复制块存储在同一机架的不同节点上,最后一个复制块存储在不同机架的某个节点上。

DataNode——ataNode 也是一个通常在HDFS实例中的单独机器上运行的软件。Hadoop 集群包含一个NameNode 和大量 DataNode。DataNode通常以机架的形式组织,机架通过一个交换机将所有系统连接起来。Hadoop 的一个假设是:机架内部节点之间的传输速度快于机架间节点的传输速度。

Linux 集群——Hadoop框架可在单一的Linux平台上使用。

Hadoop项目模块:

Hadoop Common——常见的实用程序,支持其他Hadoop模块。

Hadoop Distributed File System (HDFS™)——一个分布式文件系统,它提供了高通量访问应用程序数据。

Hadoop YARN——一个集群作业调度和资源管理的框架。

Hadoop MapReduce——YARN-based系统并行处理大型数据集。

类型 标题 发布时间
版本更新 Hadoop v2.6.1

Hadoop更新至v2.6.1

2015-10-22
文章 零基础学习大数据,搭建Hadoop处理环境

由于Hadoop需要运行在Linux环境中,而且是分布式的,因此个人学习只能装虚拟机,本文都以VMware Workstation为准,安装CentOS7,具体的安装此处不作过多介绍,只作需要用到的知识介绍。

2018-01-23
文章 慧都学院|Hadoop公开课精彩回顾

如何入门大数据?来看看慧都学院的Hadoop公开课吧!

2017-09-26
视频 cognos数据分析助人人游戏

cognos数据分析助人人游戏

2016-01-06
视频 Hadoop视频教程:Pig安装与Pig Latin语言,应用案例(四)

Hadoop视频教程:Pig安装与Pig Latin语言,应用案例(四)

2014-10-15
演示或示例 Hadoop教程:Hadoop实战之 Hello World

本文介绍的是在Ubuntu下安装用三台PC安装完成Hadoop集群并运行好第一个Hello World的过程。

2014-10-22
演示或示例 Hadoop教程:基于Hadoop的智能家居信息处理平台

智能家居包含门禁系统、温湿度系统、室内滴灌系统、照明系统等。每一个系统包含了不同的终端,每一个终端安装有不同的传感器,传感器感知周围环境产生大量数据。用户数的不断增加将产生海量数据。文中针对传统的海量数据处理方法会出现硬件成本高、计算瓶颈等问题,在云计算理论的基础上针对智能家居中的门禁系统、温湿度系统、滴灌系统和照明系统搭建了基于Hadoop 的数据处理平台。该平台对大量传感信息进行分布式并行处理,并根据处理结果向底层设备发送指令以实现智慧化服务,有效解决了成本和计算瓶颈问题。

2014-10-16

更新时间:2016/1/22 14:27:59 | 录入时间:2014-06-04 | 责任编辑:陈俊吉 给他留言或建议

客服
相关产品
  • Miner3D Enterprise

    帮助用户轻松地发现趋势,查找数据中的模式。让您看到更多!

  • Miner3D Professional

    探索数据中隐藏和未知的部分!挖掘埋藏在原始数据中的信息

  • Miner3D ONE

    快速、美观、令人愉快的数据分析方式

开发商其他产品
  • Apache Flume

    一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统

  • Tajo

    Apache Tajo是Hadoop上的一个大数据仓库系统。

  • AsterixDB

    Apache AsterixDB是一个全新的、功能齐全的大数据管理系统。

  • Falcon

    Apache Falcon是一个用于管理Hadoop集群数据生命周期的框架。

  • Storm

    Apache Storm是一个免费、开源的分布式实时计算系统。

  • Flume

    Flume是一个分布式、可靠、和高可用的海量日志聚合系统

  • Spark

    Apache Spark是一个用于大规模数据处理的快速通用引擎。

  • Impala

    Impala是一个Java企业应用程序开发动态模块框架。

  • Avro

    Apache Avro是一个数据序列化系统。

  • MapReduce

    Hadoop MapReduce是一个处理大数据并行的软件框架。

同类产品
  • GitHub Enterprise on Premise

    以轻量级工具和功能支持您的工作流程。

  • SharePoint

    共享和管理内容、知识和应用程序,加强团队合作、快速查找信息并在整个组织实现无缝协作。

  • Microsoft Windows 10

    Windows 10的设计旨在为您提供跨越不同设备的无缝体验。

  • AppleCare

    Apple提供的专家电话技术支持,以及硬件保修服务

  • Apple Watch Series1

    追踪健身记录,测量体能训练数据,密切关注自己的健康状况

  • Mac mini

    mini苹果台式电脑

  • iMac pro

    一台精简、凝练、梦想中的强大利器

  • iMac

    针对消费者和教育市场的一体化苹果Macintosh电脑系列

  • MacBook Air

    配备 Intel HD Graphics 6000 图形处理器的第五代 Intel Core i5 和 i7 处理器

  • iPad mini 4

    使用最新的A8处理器,并采用与iPad Air 2类似的超薄设计

联系我们


官方微信
官方微博