logo 慧都大数据(二) 我也要发布文档

Streams V4.2新特性:支持使用 Python 开发 Streams 应用程序


数据分析

上周我们介绍了Streams V4.2即将eGA的消息和该版本的主要特性。目前Streams V4.2以及正式eGA,感兴趣的伙伴们请访问IBM Knowledge Center(http://www.ibm.com/support/knowledgecenter/zh/SSCRJU_4.2.0/com.ibm.streams.welcome.doc/doc/kc-homepage.html)获取更多信息并下载试用。

现在,让我们一起来了解Streams V4.2新特性之一:支持使用 Python 开发 Streams 应用程序。

支持Python让流应用开发者有更多的语言选择

Topology Toolkit允许流应用程序员使用SPL(Streams Processing Language)之外,更常见、更熟悉的语言开发流应用程序。该Toolkit支持多种编程语言,包括Java、Scala,以及V4.2新增对Python的支持。

Python 是一种常见的语言,具有大型、全面的标准库以及多个第三方库。使用新的 IBM Streams Python 应用程序 API(包含在 Topology Toolkit 中),可通过Python 可调用类或函数创建流处理应用程序。这意味着程序员可以利用整个Python库的优势,解决他们的业务问题。

使用Python应用程序API,您可以:

使用Python定义流应用程序的结构

在流数据中将Python对象作为元组进行传递

定义流数据如何以一个模块化,可扩展和有状态的方式被处理

Python 应用程序 API 函数作为Streams的Operator

正如下面的API函数列表,程序员可以使用很多Python的函数。例如,您可以使用transform和map对数据进行操作。

数据分析

Jupyter Notebook 和 Python

既然我们能够利用Python应用程序 API开发流应用程序,那我们就可以使用Jupyter Notebook编写代码,并编译和执行,以及查看运行结果。

下图在Jupyter演示一片简单的代码,它从一个数据源读取一些数据,然后创建一个输出视图并在Jupyter显示。该应用程序被编译并以集群方式运行,然后使用matplotlib来显示是每秒刷新结果的曲线图。

数据分析

关于Jupyter的介绍请参考另一篇文章《在Jupyter Notebooks里进行大数据分析,So easy!》。

使用 Python 开发Streams 应用程序入门指导 Python应用程序API是开源的,您可以在GitHub上的streamsx.topology项目找到更多的说明。您也可以从下面的链接里获取相关入门指导。 http://ibmstreams.github.io/streamsx.documentation/docs/latest/python/python-appapi-devguide/

更多大数据与分析相关行业资讯、解决方案、案例、教程等请点击查看>>>

详情请咨询在线客服

客服热线:023-66090381