Google Cloud Platform(GCP)最近宣布了Cloud AI Platform Pipelines的Beta版发布，Cloud AI Platform Pipelines是用于自动化和管理机器学习(ML)工作流的新产品，它利用了开源技术TensorFlow Ext。
在最近的博客文章中，产品经理Anusha Ramesh和开发人员倡导者Amy Unruh 对该产品及其功能进行了概述。Cloud AI Platform Pipelines解决了管理端到端ML工作流的问题，该工作流涵盖了从摄取原始数据到模型训练和评估到在生产中提供模型推断的整个生命周期。新产品包含用于构建工作流，跟踪工作流工件和沿袭的工具，以及与其他GCP服务(例如BigQuery和Dataflow)集成的“企业就绪”工作流执行基础结构。根据Ramesh和Unruh的说法：
Cloud AI Platform Pipelines提供了一种部署健壮，可重复的机器学习管道以及监控，审核，版本跟踪和可再现性的方法，并为ML工作流提供了企业就绪，易于安装，安全的执行环境。
Cloud AI Platform Pipelines是TensorFlow Extended(TFX)和Kubeflow Pipelines(KFP)的托管实现，它们在Google Kubernetes Engine(GKE)集群上运行。TFX是一个抽象层，核心概念是管道，必须协调或协调一系列数据转换步骤(管道组件); 组件之间传输的数据称为工件。KFP是协调器，它在GKE集群中的Pod上执行管道中的每个组件。TFX还为ML元数据(MLMD)定义了一个数据存储，该数据存储允许跟踪管道的历史记录和版本以及该管道产生的工件。Cloud AI Platform Pipelines支持两个SDK，即TFX较高级别的SDK和较低级别的KFP SDK。但是，Google计划将两者合并为一个TFX SDK。
TFX最初是由Google在KDD 2017上发表的一篇论文中描述的，该文档记录了Google努力构建端到端ML平台的成果，该平台包括ML过程的所有阶段，包括数据分析和转换，模型训练和评估，和推论生产。最初的执行基础结构是Apache Beam，它本身基于Google的Flume ，现在为Google Cloud Dataflow提供了动力。TFX仍然使用Beam定义数据并行操作，但现在还支持Kubeflow和Apache Airflow作为编排引擎。气流是另一种GCP产品Cloud Composer背后的技术。