DataForce组件技术及功能(七):任务调度平台

原创|大数据新闻|编辑:郑恭琳|2020-09-14 10:47:10.200|阅读 14 次

概述:任务调度平台用于在一个工作流内以一个特定的顺序运行一组工作和流程,可以实现自动调度预先设定的任务。支持调度各种类型任务,包括linux command,shell脚本,hadoop任务,spark任务,hive任务等。并且提供可视化界面对任务的执行情况进行监控。可视化界面可以查看正在执行的任务,任务的执行日志,历史执行任务及日志等。而且具有权限管理,不同角色类型的用户权限不一致。

# 购买正版开发软件送开发入门教材和电子资料,点击进入了解详情 #

相关链接:

DataForce是慧都自主研发、应用最灵活的大数据平台。能够帮助您随时找到您想要的数据,使数据得到安全、稳定和高效的管理与应用。DataForce是企业大数据解决方案的重要组成部分,除了提供完整的大数据功能组件,我们还提供组件自定义搭配,为企业选择满足方案需要的大数据功能组件,使您的大数据解决方案成本降到最低,从而高品质的解决您的大数据需求问题。

了解什么是DataForce,请点击这里查看DataForce的基础介绍>>

本文主要跟大家介绍DataForce的任务调度平台。


任务调度平台

任务调度平台用于在一个工作流内以一个特定的顺序运行一组工作和流程,可以实现自动调度预先设定的任务。支持调度各种类型任务,包括linux commandshell脚本,hadoop任务,spark任务,hive任务等。并且提供可视化界面对任务的执行情况进行监控。可视化界面可以查看正在执行的任务,任务的执行日志,历史执行任务及日志等。而且具有权限管理,不同角色类型的用户权限不一致。例如:普通用户只能执行自己创建的任务,管理员用户可以查看执行所有用户创建的任务。


DataForce任务调度平台的特性

  • 提供界面监控任务情况,而且界面友好。
  • 通过简单的设置即可创建任务的依赖。
  • 创建好的任务上传时自动识别是否有闭环,存在则给出提示,避免任务死锁。
  • 可查看已经运行、正在运行、还未运行等状态的任务及其日志信息。
  • 可支持多种任务类型,包括linux commandshell脚本,hadoop等。
  • 具有用户权限管理。


DataForce任务调度平台的界面和功能

访问web界面

主要界面说明

登陆成功后进入主界面

左边导航栏的Personal为查看当前用户创建的projectGroup为查看所属用户组用户创建的projectAll为查看所有用户创建的project。当然,查看project是一回事,查看project里面的内容和执行project就需要相应的权限了。

右上角可以搜索和创建project

上方的导航栏提供了各种选项查看相应的任务状态。包括创建好的调度计划,正在执行的任务,执行历史等。

Scheduling界面


Executing界面


History界面



DataForce任务调度平台的应用场景

任务调度平台不仅可以用来定时执行一些脚本,程序等。它还用于对一系列任务在指定时间按照指定顺序运行,并且任务具有前后依赖的场景,尤其是对比较多的任务进行按计划调度。比如一个ETL流程,包括数据的抽取,转换,加载过程。这些过程是具有先后依赖的,所以任务调度平台可以实现对ETL流程的顺序调度执行及监控。



慧都工业大数据分析方案即将精益生产理论体系进行了完美的融合和应用,并对大数据总体架构进行了更细致明确的解读,提供自主研发的大数据平台,实现ETL、数据管理及存储、数据建模。如下图所示:


立即申请慧都大数据demo


关于慧都大数据分析平台

慧都大数据分析平台「GetInsight®」升级发布,将基于企业管理驾驶舱产品质量分析及预测设备分析及预测等大数据模型的构建,助力企业由传统运营模式向数字化、智能化的新模式转型升级,抓住数据经济的发展势头,提供管理效能,精准布局未来。了解更多,请联系在线客服


慧都大数据专业团队为企业提供商业智能大数据平台搭建,免费业务咨询,定制开发等完整服务,快速、轻松、低成本将任何Hadoop集群从试用阶段转移到生产阶段。

欢迎拨打慧都热线023-68661681或咨询慧都在线客服,我们有专业的大数据团队,为您提供免费大数据相关业务咨询!



标签:

本站文章除注明转载外,均为本站原创或翻译。欢迎任何形式的转载,但请务必注明出处、不得修改原文相关链接,尊重他人劳动成果

登录 慧都网发表评论


暂无评论...

为你推荐

  • 推荐视频
  • 推荐活动
  • 推荐产品
  • 推荐文章
  • 慧都慧问
title
title
相关厂商
相关产品
QlikView

强大的交互式分析和仪表板BI产品

Qlik Sense

新一代自助大数据分析BI工具,自由释放数据潜能

在线
客服
咨询
电话
400-700-1020
在线
QQ
购物车 反馈 返回
顶部
在线客服系统
live chat