企业智能化解决方案服务商

Falcon

Apache Falcon是一个用于管理Hadoop集群数据生命周期的框架。

产品类型: 软件 产品功能: IDE 平台语言: 源码: 不提供源码 产品编号: 13789
  • 当前版本:v0.8 [销售以商家最新版为准,如需其他版本,请来电咨询]
  • 开  发 商:Apache 正式授权

关于本产品的分类与介绍仅供参考,具体以商家网站介绍为准。加企业QQ:800018081 咨询该产品

Apache Falcon 是一个面向Hadoop的、新的数据处理和管理平台,被用于数据移动、数据管道协调、生命周期管理和数据发现。它使终端用户可以快速地将他们的数据及其相关的处理和管理任务“上载(onboard)”到Hadoop集群。
需要培训、定制、外包?请联系我们!企业QQ:800018081 慧都专业技术团队帮助您提高效率,节省成本,降低风险!

关于本产品的分类与介绍仅供参考,精准产品资料以官网介绍为准,如需购买请先行测试。

整体架构:

Apache Falcon 提供了一个用于治理和编排 Hadoop 内部和周边数据流的数据处理框架。该框架为获取和处理数据集、复制与保留数据集、重新定向位于非Hadoop扩展中的数据集、维护审核跟踪与沿袭提供了关键性的管控框架。Knox拓展了Hadoop的安全边界,实现了与LDAP、用于证书管理的活动目录等框架进行了充分整合,为跨Hadoop和所有相关项目的授权提供了一个通用服务。下面是Falcon的架构图:

Apache Falcon

从上图可以看出,Apache Falcon:

  • 在Hadoop环境中各种数据和处理元素(processing element)之间建立了联系;

  • 可以与Hive/HCatalog集成;

  • 根据可用的Feed组向最终用户发送通知。

用途特性:

Apache Falcon可以满足企业数据管理的以下三方面需求:

需求特性
集中化数据生命周期管理
  • 用于数据摄取、处理与导出的管道集中化定义&管理。

  • 确保灾害预警&业务连续。

  • 数据复制&保留做到开箱即用的策略。

  • 数据管道端到端的监控。

合规与审计
  • 可视化的数据管道系统。

  • 跟踪数据管道的审计日志。

  • 使用业务数据元标记数据。

数据库复制与存档
  • 复制可跨越本地和基于云端的存储目标:Microsoft Azure 与Amazon S3。

  • 数据沿袭支持文档和示例。

  • HDFS中异构存储分层。

  • 在一个集群中定义冷/热存储层。


客服
开发商其他产品
  • Apache Flume

    一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统

  • Tajo

    Apache Tajo是Hadoop上的一个大数据仓库系统。

  • AsterixDB

    Apache AsterixDB是一个全新的、功能齐全的大数据管理系统。

  • Falcon

    Apache Falcon是一个用于管理Hadoop集群数据生命周期的框架。

  • Storm

    Apache Storm是一个免费、开源的分布式实时计算系统。

  • Flume

    Flume是一个分布式、可靠、和高可用的海量日志聚合系统

  • Spark

    Apache Spark是一个用于大规模数据处理的快速通用引擎。

  • Impala

    Impala是一个Java企业应用程序开发动态模块框架。

  • Avro

    Apache Avro是一个数据序列化系统。

  • MapReduce

    Hadoop MapReduce是一个处理大数据并行的软件框架。

同类产品