DataForce组件技术及功能(八):分布式HTAP数据库

原创|大数据新闻|编辑:郑恭琳|2020-09-15 09:35:38.927|阅读 19 次

概述:分布式HTAP数据库结合了传统RDBMS(关系型数据库系统)对SQL和事物的支持以及nosql(非关系)数据库的扩展性,它支持和传统关系数据库一样的SQL语法,支持无限的水平扩展,具备强一致性和高可用性。分布式关系数据库目标是为 OLTP (Online Transactional Processing) 和 OLAP (Online Analytical Processing) 场景提供一站式的解决方案。

# 购买正版开发软件送开发入门教材和电子资料,点击进入了解详情 #

相关链接:

DataForce是慧都自主研发、应用最灵活的大数据平台。能够帮助您随时找到您想要的数据,使数据得到安全、稳定和高效的管理与应用。DataForce是企业大数据解决方案的重要组成部分,除了提供完整的大数据功能组件,我们还提供组件自定义搭配,为企业选择满足方案需要的大数据功能组件,使您的大数据解决方案成本降到最低,从而高品质的解决您的大数据需求问题。

了解什么是DataForce,请点击这里查看DataForce的基础介绍>>

本文主要跟大家介绍DataForce的分布式HTAP数据库。


分布式HTAP数据库

分布式HTAP数据库结合了传统RDBMS(关系型数据库系统)对SQL和事物的支持以及nosql(非关系)数据库的扩展性,它支持和传统关系数据库一样的SQL语法,支持无限的水平扩展,具备强一致性和高可用性。分布式关系数据库目标是为 OLTP (Online Transactional Processing) OLAP (Online Analytical Processing) 场景提供一站式的解决方案。

分布式HTAP数据库的目标是能够适用全部的 OLTP 场景和大部分的 OLAP 场景,更复杂的 OLAP 分析可以通过和分布式计算框架进行集成来完成。


DataForce分布式HTAP数据库的特性

  • 高度兼容MySQL,大多数情况下,可以无缝的把数据从MySQL迁移至分布式数据库中。
  • 水平弹性扩展,通过简单地增加新节点即可实现分布式关系数据库的水平扩展。
  • 分布式事务,分布式数据库100% 支持标准的 ACID 事务。
  • 满足高可用,每个组件都允许部分实例失败,不影响整个集群使用,且在不丢失大多数副本的前提下,可以实现故障的自动恢复 ,无需人工介入。
  • 满足海量数据下的实时写入、查询、分析。
  • 一键部署监控系统,WEB界面实时监控组件情况。
  • 支持 OLTP OLAP 两种业务在同一份数据上进行,免去数据从运营数据库复制、落地、转换、加载到数据仓库的复杂流程。


DataForce分布式HTAP数据库的架构

分布式HTAP数据库包含3个核心组件:

SQL 计算引擎

SQL接收服务集群负责接收 SQL 请求,处理 SQL 相关的逻辑,并通过管理模块集群找到存储计算所需数据的存储模块地址,与存储模块集群交互获取数据,最终返回结果。SQL接收服务是无状态的,其本身并不存储数据,只负责计算,可以无限水平扩展。

管理模块

管理模块集群其主要工作有三个:一是存储集群的元信息;二是对存储模块进行调度和负载均衡(如数据的迁移);三是分配全局唯一且递增的事务 ID。管理模块需要部署奇数个节点。

存储模块

存储模块集群负责存储数据,从外部看存储模块是一个分布式的提供事务的 Key-Value 存储引擎。存储数据的基本单位是 Region,每个 Region 负责存储一个 Key Range(从 StartKey EndKey 的左闭右开区间)的数据,每个存储模块节点会负责多个 Region


DataForce分布式HTAP数据库的功能

分布式数据库提供对海量数据的存储管理,提供SQL语义,SQL用法与MySQL几乎一致,提供分布式事务,满足大数据量的实时写入、查询、分析。可根据业务数据量的需求进行横向扩展。具有高可用性,部分节点失效不影响整个集群使用。


DataForce分布式HTAP数据库的应用场景

高并发实时交易场景

提供线性水平扩展能力,能够实时提升数据库处理能力,提高访问效率,轻松应对高并发的实时交易场景。

海量数据存储访问场景

企业客户随着业务的快速发展,业务数据增长迅猛,会产生超过单机数据库存储能力极限的数据,造成数据库容量瓶颈,限制业务发展,可以线性扩展存储空间,提供 PB 级存储能力,应对超大规模数据存储访问场景。

数据高效多维分片场景

支持多种分片方式,提供按数字、字符串、时间单独或者混合分片,让操作100亿数据如同操作100万数据高效。

HTAP场景

一份数据同时需要进行OLTPOLAP,在线、离线分析使用同一个数据仓库。避免在、离线数据仓库之间的数据转移。



慧都工业大数据分析方案即将精益生产理论体系进行了完美的融合和应用,并对大数据总体架构进行了更细致明确的解读,提供自主研发的大数据平台,实现ETL、数据管理及存储、数据建模。如下图所示:


立即申请慧都大数据demo


关于慧都大数据分析平台

慧都大数据分析平台「GetInsight®」升级发布,将基于企业管理驾驶舱产品质量分析及预测设备分析及预测等大数据模型的构建,助力企业由传统运营模式向数字化、智能化的新模式转型升级,抓住数据经济的发展势头,提供管理效能,精准布局未来。了解更多,请联系在线客服


慧都大数据专业团队为企业提供商业智能大数据平台搭建,免费业务咨询,定制开发等完整服务,快速、轻松、低成本将任何Hadoop集群从试用阶段转移到生产阶段。

欢迎拨打慧都热线023-68661681或咨询慧都在线客服,我们有专业的大数据团队,为您提供免费大数据相关业务咨询!



标签:

本站文章除注明转载外,均为本站原创或翻译。欢迎任何形式的转载,但请务必注明出处、不得修改原文相关链接,尊重他人劳动成果

登录 慧都网发表评论


暂无评论...

为你推荐

  • 推荐视频
  • 推荐活动
  • 推荐产品
  • 推荐文章
  • 慧都慧问
title
title
相关厂商
相关产品
QlikView

强大的交互式分析和仪表板BI产品

Qlik Sense

新一代自助大数据分析BI工具,自由释放数据潜能

在线
客服
咨询
电话
400-700-1020
在线
QQ
购物车 反馈 返回
顶部
在线客服系统
live chat