PiFlow

PiFlow是一个功能强大的大数据流水线系统，基于分布式计算框架Spark开发使用它可以进行高效的数据采集、清洗、计算和存储等功能。并且可以将数据可视化，通过各种线形图、柱状图和饼状图等等直观将数据展现出来。

软件特色

使用方便

提供所见即所得的Web界面来配置数据流

监控数据流状态

检查数据流日志

提供检查点

强大的可扩展性：

支持定制的数据处理组件开发

出众的表演

基于分布式计算引擎Spark

强大

提供100多种数据处理组件

包括spark，mllib，hadoop，hive，hbase，solr，redis，memcache，elasticSearch，jdbc，mongodb，http，ftp，xml，csv，json等

使用要求

JDK 1.8

Scala-2.11.8

Apache Maven 3.1.0或更高版本

Spark-2.1.0，Spark-2.2.0，Spark-2.3.0

Hadoop-2.6.0

更新内容

增加可视化分析功能，包括线性图、柱状图、饼状图、散点图；

增加可编程特性，无缝衔接上下游组件，按需在线开发和调试；

增加多语言特性，支持Scala、Python、Shell等多种语言的编程；

增加Spark依赖jar包管理