星级评价:
日期:11-25
立即下载
PiFlow是一款非常强大的大数据流水线系统,混合型科学大数据流水线系统,这款系统将数据采集、储存的等环节封装成组件,软件简单使用容易,提供100+的数据处理组件,如果有需要朋友的可以来本站下载试试。
软件特色
简单易用。
可视化配置流水线。
监控流水线。
查看流水线日志。
检查点功能。
扩展性强:
支持自定义开发数据处理组件。
性能优越:
基于分布式计算引擎Spark开发。
功能强大:
提供100+的数据处理组件。
包括Hadoop 、Spark、MLlib、Hive、Solr、Redis、MemCache、ElasticSearch、JDBC、MongoDB、HTTP、FTP、XML、CSV、JSON等。
集成了微生物领域的相关算法。
使用方法
解压piflow-server-v0.9.tar.gz。
tar -zxvf piflow-server-v0.9.tar.gz。
编辑配置文件config.properties。
运行、停止、重启PiFlow Server。
start.sh、stop.sh、 restart.sh、 status.sh。
测试 PiFlow Server。
设置环境变量 PIFLOW_HOME。
vim /etc/profile。
export PIFLOW_HOME=/yourPiflowPath/bin。
export PATH=PATH:PIFLOW_HOME/bin。
运行如下命令。
piflow flow start example/mockDataFlow.json。
piflow flow stop appID。
piflow flow info appID。
piflow flow log appID。
piflow flowGroup start example/mockDataGroup.json。
piflow flowGroup stop groupId。
piflow flowGroup info groupId。
如何配置config.properties。
#spark and yarn config。
spark.master=yarn。
spark.deploy.mode=cluster。
#hdfs default file system。
fs.defaultFS=hdfs://10.0.86.191:9000。
#yarn resourcemanager.hostname。
yarn.resourcemanager.hostname=10.0.86.191。
#if you want to use hive, set hive metastore uris。
#hive.metastore.uris=thrift://10.0.88.71:9083。
#show data in log, set 0 if you do not want to show data in logs。
data.show=10。
#server port
server.port=8002
#h2db port
h2.port=50002
人气下载
星级评价:
日期:11-25
立即下载
星级评价:
日期:04-19
立即下载
星级评价:
日期:01-17
立即下载
星级评价:
日期:12-18
立即下载
星级评价:
日期:09-13
立即下载
星级评价:
日期:02-07
立即下载
其他版本
本类下载排名 总 月
谷歌高清卫星地图 V2021 免费版
软件大小:117.87 MB
更新日期:2023-03-07
Vero AlphaCAM V2021.0.2022.119 最新免费版
软件大小:4.02 GB
更新日期:2023-03-09
AutoCAD Electrical2022 V2022 中文免费版
软件大小:3.13 GB
更新日期:2023-03-08
AutoCAD Plant 3D免费版 V2022 免注册版
软件大小:2.61 GB
更新日期:2023-03-08
Materialise Magics(平面数据处理软件) V24.1 官方版
软件大小:969.73 MB
更新日期:2023-03-07
OK插件(OneKeyTools Lite)V10.10.0.0 官方版
软件大小:2.94 MB
更新日期:2023-03-09
Java SE Development Kit(JDK) 16.0.1 官方正式版
软件大小:149.10 MB
更新日期:2023-03-04
闲鱼 V6.8.40 电脑免费版
软件大小:93.07 MB
更新日期:2023-03-09
Virtools(虚拟现实制作软件) V5.0 免费版
软件大小:1.42 GB
更新日期:2023-03-09
EViews12(预测分析计量软件) V12.0 官方最新版
软件大小:288.52 MB
更新日期:2023-03-07
Vero AlphaCAM V2021.0.2022.119 最新免费版
软件大小:4.02 GB
更新日期:2023-03-09
贱人工具箱 V7.0 绿色版
软件大小:6.07 MB
更新日期:2023-03-09
OK插件(OneKeyTools Lite)V10.10.0.0 官方版
软件大小:2.94 MB
更新日期:2023-03-09
智慧树幼儿园膳食配餐营养分析软件 V2020 官方安装版
软件大小:84.61 MB
更新日期:2023-03-09
一诺365 V6.0.9.1 官方版
软件大小:1.12 MB
更新日期:2023-02-28
BETA CAE Systems V21.0.1 最新版
软件大小:1.67 GB
更新日期:2023-02-23
Virtools(虚拟现实制作软件) V5.0 免费版
软件大小:1.42 GB
更新日期:2023-03-09
3DMine(矿业工程软件) V2020.3.2 官方版
软件大小:287.53 MB
更新日期:2023-03-09
固乔电商视频助手 V92.0.0 免费版
软件大小:2.82 MB
更新日期:2023-03-09
Autodesk Civil 3D 2021 汉化免费版
软件大小:3.36 GB
更新日期:2023-03-09
最新软件
热门软件推荐