IBM InfoSphere Streams

高效捕获和分析动态数据的软件平台

产品类型: 软件 产品功能: BI/大数据/算法/IDE 平台语言: 源码: 不提供源码 产品编号: 13735
  • 当前版本: [销售以商家最新版为准,如需其他版本,请来电咨询]
  • 开  发 商:IBM 正式授权

关于本产品的分类与介绍仅供参考,具体以商家网站介绍为准。加企业QQ:800018081 咨询该产品

IBM InfoSphere Streams 是一个高级计算平台,帮助用户开发的应用程序快速摄取、分析和关联来自数千个实时源的信息。它可处理非常高的数据吞吐率,最高可达每秒数百万个事件或消息,从而提升业务价值。InfoSphere Streams 还可合并多个流,使您能够从多个流中获取新洞察。
需要培训、定制、外包?请联系我们!企业QQ:800018081 慧都专业技术团队帮助您提高效率,节省成本,降低风险!

合并的流处理

stream

InfoSphere Streams 主要设计目的是:

  • 快速响应事件和不断变化的业务条件与需求。

  • 支持以比现有系统快几个数量级的速度对数据执行持续分析。

  • 快速适应不断变化的数据形式和类型。

  • 管理新的流模式的高可用性、异构性和分布。

  • 为共享的信息提供安全性和信息机密性。


InfoSphere Streams 提供了一种编程模型和 IDE 来定义数据来源,还提供了已融合到处理执行单元中的运算符软件来分析模块。以及基础架构来支持从这些组件合成可扩展的流处理应用程序。主要平台组件包括:

  • 运行时环境:这包括平台服务,以及一个用于在单个主机或一组集成的主机上部署和监视 Streams 应用程序的调度程序。

  • 编程模型:您可使用 SPL(Streams Processing Language,流处理语言,一种声明性语言)来编写 Streams 应用程序。可使用该语言陈述您的需求,运行时环境会承担确定如何最佳地服务该请求的责任。在此模型中,一个 Streams 应用程序表示为一个由运算符和连接它们的流组成的图表。

  • 监视工具和管理接口:Streams 应用程序处理数据的速度比普通的操作系统监视实用程序快得多。InfoSphere Streams 提供了可处理此环境的工具。


流处理语言

SPL,InfoSphere Streams 的编程语言,是一种分布式数据流合成语言。它是一种类似 C++ 或 Java™ 的可扩展且全功能的语言,支持用户定义的数据类型。您可以使用 SPL 或原生语言(C++ 或 Java)编写自定义函数。也可以使用 C++ 或 Java 编写用户定义的运算符。

InfoSphere Streams 持续应用程序会描述一个导向图,该图由各个互联且处理多个数据流的运算符组成。数据流可来自系统外部,或者在应用程序内部生成。SPL 程序的基本构建块包括:

  • 流:一个无限的结构化元组序列。它可逐个元组地由运算符使用或通过一个窗口的定义来使用。

  • 元组:属性及其类型的一个结构化列表。流上的每个元组拥有由其流类型指定的形式。

  • 流类型:指定元组中每个属性的名称和数据类型。

  • 窗口:一个有限、有序的元组分组。它可以基于计数、时间、属性值或标点符号。

  • 运算符:SPL 的基础构建块,它的运算符会处理来自流的数据并可生成新流。

  • 处理元素 (PE):基础执行单元。一个 PE 可封装单个运算符或多个合并的运算符。

  • 作业:一个已部署好的用来执行的 Streams 应用程序。它由一个或多个 PE 组成。除了一组 PE 之外,SPL 编译器还会生成一个 ADL(Application Description Language,应用程序描述语言)文件来描述应用程序的结构。该 ADL 文件包含每个 PE 的详细信息,比如要加载和执行哪个二进制文件,调度限制、流格式和一个内部运算符数据流图。

SPL 程序的 InfoSphere Streams 运行时视图:

stream

InfoSphere Streams 能够帮助您:

分析动态数据:

  • 支持分析连续数据,包括文本、图像、音频、语音、视频、Web 流量、电子邮件、GPS 数据、财务交易、卫星数据和传感器日志。

  • 包含用于高级分析的工具箱和加速器,包括近乎实时地分析来自远程通信系统的大量流数据的远程通信事件数据加速器,以及用于分析社交媒体数据的社交数据加速器。

  • 在运行时计算集群的一个或多个节点上分发程序部分,帮助实现每秒数百万条消息量以及毫秒级别流通速度。

  • 使您能够从大量琐碎信息中仅过滤和抽取相关数据,从而帮助降低数据存储成本。

  • 基于数据量或分析复杂性,从单个服务器扩展至成千上万个计算机节点。

  • 提供安全性功能和机密性以用于共享信息。

简化流应用程序开发

  • 您能够通过拖拽操作构建应用程序,还能使用数据可视化功能(例如,图表和图形)向运行中的应用程序动态地添加新视图。

  • 支持您创建、编辑、可视化、测试、调试和运行 Streams Processing Language (SPL) 应用程序。

  • 提供组合功能以提高应用程序模块化程度,支持大型或分布式应用程序开发团队。

  • 使您能够在单个流定义中嵌套和聚集数据类型。

  • 支持在开发集群上构建应用程序并投入生产,而无需重新编译。

扩展现有系统的价值

  • 适应快速变化的数据表单和类型。

  • 您能够快速开发可映射至各种硬件配置的新应用程序。

  • 支持复用现有 Java 或 C++ 代码,以及预测模型标记语言 (PMML) 模型。

  • 包含一个有限的 IBM InfoSphere BigInsights 许可证 - 一个用于分析大量静态非结构化数据的基于 Hadoop 的产品。

  • 集成 IBM DB2、IBM Informix、IBM Netezza、IBM solidDB、IBM InfoSphere Warehouse、IBM Smart Analytics System、Oracle、Microsoft SQL Server 和 MySQL。


开发环境

InfoSphere Streams 提供了一个敏捷开发环境,该环境由 Eclipse IDE、Streams Live Graph 视图和一个流调试器组成。该平台还包含用于加速和简化特定功能或行业的解决方案开发的工具包。

此外,您可定义您自己的工具包,提供可重用的运算符和函数集,并创建跨领域和特定于领域的加速器。它们可包含原始和组合运算符,也可同时使用原生和 SPL 函数。


BigInsights 和 InfoSphere Streams 之间的集成和交互

不断从系统中生成大量宝贵数据的公司正面临为以下两个重要用途而分析数据的问题困扰:及时感知和响应当前事件,根据历史知识进行预测,从而指导响应。这一情形产生了无缝运行移动数据(当前数据)和静止数据(历史数据)分析、处理海量、多样性、高速产生的数据的需求。IBM 的移动数据 (InfoSphere Streams) 与静止数据 (BigInsights) 平台的集成解决了 3 个主要应用场景的需求:

  • 可伸缩的数据获取:通过 Streams 持续将数据获取到 BigInsights 中。例如,通常需要获取来自社交媒体来源(比如 Twitter 和 Facebook)的非结构化文本数据,以提取各种类型的态度和线索。在这种情况下,如果文本提取在获取数据时执行,那么尽早消除垃圾邮件等无关数据会让效率高很多。这种集成使公司能够避免巨额的非必要存储成本。

  • 加速和充实:从 BigInsights 生辰历史上下文来加速分析和充实传入的 Streams 数据。BigInsights 可用于分析在较长的时间窗口内从各种连续和静态的数据来源吸收和集成的数据。此分析的结果为各种在线分析提供了上下文,可用于将它们引导至一种已知状态。回到社交媒体应用程序的场景,一条传入的 Twitter 消息仅拥有发布该消息的人的 ID。但是,历史数据可通过属性(比如影响者)充实该信息,为执行下游分析以适当应对此用户所表达的态度提供机会。

  • 自适应分析模型:BigInsights 上的分析操作(比如数据挖掘、机器学习或统计建模)所生成的模型。这些可用作分析 Streams 上的传入数据的基础,基于实时观察结果而更新。


IBM 大数据平台的移动数据和静止数据部分可通过 3 种主要的组件类型来集成:

  • 通用分析:相同的分析功能可用在 Streams 和 BigInsights 上。

  • 通用数据格式:Streams 格式运算符可在 Streams 元组格式和 BigInsights 使用的数据格式之间转换数据。

  • 数据交换适配器:Streams Source 和 Sink 适配器可用于与 BigInsights 交换数据。

类型 标题 发布时间
文章 大数据教程(二)—— Hadoop集群坏境CentOS安装

前面我们主要分析了搭建Hadoop集群所需要准备的内容和一些提前规划好的项,本篇我们主要来分析如何安装CentOS操作系统,以及一些基础的设置,闲言少叙,我们进入本篇的正题。

2017-04-24
文章 大数据教程(一)—— Hadoop集群坏境搭建配置

关于大数据的概念或者架构一直在各方争议的背景下持续的存在着。目前,关于大数据项目可以真正被落地实施的解决方案就是:Hadoop为核心的的一些列开源分布式解决方案。

2017-04-21
视频 践行案例 | 数据分析助力广东省中医院实现更智慧的医疗

数据分析助力广东省中医院实现更智慧的医疗

2016-03-03

更新时间:2016/12/30 17:49:41 | 录入时间:2016-01-22 | 责任编辑:陈俊吉 给他留言或建议

客服
开发商其他产品
  • SPSS Statistics Subscription

    利用不同的数据统计分析模块帮助企业提高生产力并取得更好的成果

  • i2 Enterprise Insight Analysis

    以超高速度大规模地执行普通分析和高级分析,更快利用数据做出决策

  • i2 COPLINK

    i2 COPLINK 是模块化的警务软件,可通过其他打击犯罪工具进行定制,以满足用户的特定需求,提高破案能力。

  • i2 Analyst's Notebook

    i2 Analyst's Notebook 能够及时提供具有执行力的情报,帮助发现、预测、预防和阻止犯罪、恐怖活动和欺诈活动。

  • InfoSphere Change Data Capture

    在跨平台和异构数据库环境中实现变化数据的实时复制

同类产品
  • SPSS Statistics Subscription

    利用不同的数据统计分析模块帮助企业提高生产力并取得更好的成果

  • RadarCube ASP.NET Web Forms

    通过向Web应用程序添加OLAP和Visual Analysis功能使网页数据显示为表格或图表

  • Ranet Analytics

    为企业提供易于使用的商业智能(BI)工具,让企业管理人员作出合理的商业决策

  • i2 Enterprise Insight Analysis

    以超高速度大规模地执行普通分析和高级分析,更快利用数据做出决策

  • Ranet OLAP

    为HTML5、WinForms、WPF应用提供强大的在线分析程序,确保高效处理多维数据

  • i2 COPLINK

    i2 COPLINK 是模块化的警务软件,可通过其他打击犯罪工具进行定制,以满足用户的特定需求,提高破案能力。

  • i2 Analyst's Notebook

    i2 Analyst's Notebook 能够及时提供具有执行力的情报,帮助发现、预测、预防和阻止犯罪、恐怖活动和欺诈活动。

  • Essential Studio for LightSwitch

    HTML和Silverlight客户端的企业级控件扩展。包括一些复杂的小部件,如数据网格、图表、地图、仪表等等。

  • Watson Analytics

    具备理解,学习和推理能力,实现更智能的人机互动,帮助人们做出更好的决策

  • SPSS Statistics Premium

    帮助多种高级分析需求的企业提高生产力并取得更好的成果

联系我们


官方微信
官方微博

慧都旗下网站

友情链接

慧都科技有限公司 版权所有 Copyright 2003-2016 渝ICP备12000582号 | 京公网安备 11010102002019号
100%正版软件