天天看点

将Flink扩展到机器学习场景的 Flink AI ExtendedFlink AI 扩展

Flink AI 扩展

Flink AI Extended 是一个将 Flink 扩展到各种机器学习场景的项目。目前它包含以下两个子项目。

Flink 人工智能流程

Flink AI Flow 是一个连接大数据和人工智能的开源框架。它将整个机器学习项目生命周期作为一个统一的工作流进行管理,包括特征工程、模型训练、模型评估、模型服务、模型推理、监控等。 在整个工作流中,Flink 作为通用计算引擎。

除了编排一组批处理作业的能力,通过利用基于事件的调度程序(Airflow 的增强版本),Flink AI Flow 还支持包含流作业的工作流。这种能力对于复杂的实时机器学习系统以及其他实时工作流程非常有用。

更多详情请查看

flink-ai-flow

子项目。

Flink 上的深度学习

Deep Learning on Flink 旨在整合 Flink 和深度学习框架(例如 TensorFlow、PyTorch 等)。它在 Flink 算子内部运行深度学习任务,以便 Flink 可以帮助建立分布式环境、管理资源、读/写记录和处理故障。

目前 Flink 上的深度学习仅支持 TensorFlow。

deep-learning-on-flink

联系我们

欲了解更多信息,您可以加入弗林克AI流量用户组上

DingTalk

与我们联系。钉钉群号为

35876083

继续阅读