Seldon Core 组件概览¶

Seldon 将您的机器学习模型转换为 REST/gRPC 微服务。

以下为 seldon 主要组件：

可复用、不可复用模型服务
语言封装容器化模型
SeldonDeployment CRD 以及 Seldon Core Operator
高级推理图服务治理

以及三方系统实现：

基于 Ambassador 和 Istio 实现的 Kubernetes Ingress
基于 Prometheus 的指标
基于 Jaeger 的链路追踪
基于 OpenApi 的 Endpoint 文档

保持阅读以学习更多内容

E2E Serving 模型服务器¶

使用 Seldon Core 你可以非常灵活的将 Model Servers 直接用于生产环境。

使用所谓的 Reusable Model Servers 你可以在短短几步将模型部署到 Kubernetes 集群：

数据科学家 使用先进的类库如（mlflow, dvc, xgboost, scikit-learn 等）准备机器学习 model 。
训练后的模型上传到中心化的存储库（比如 S3 存储）。
软件工程师 使用上传到镜像仓库的使用 Seldon Core 的 Reusable Model Server。
使用发布单（Seldon Deployment CRD）创建并应用到 k8s 集群。
Seldon Core Operator 创建所有依赖的 Kubernetes 资源。
发送到 Seldon Deployment 的所有推理请求会通过 Service Orchestrator 转发到内部模型。
以通过利用我们与第三方框架的集成来收集指标和跟踪数据。

如果在步骤 2 和 3 中使用了 Non-Reusable Model Servers，你需要准备一个 Docker 镜像来实现机器学习模型的嵌入，我们将在后续章节进行讨论两种方法的区别。

2 种类型的模型服务器¶

使用 Seldon Core，您可以构建两种类型的服务器：可复用和不可复用的服务器。根据上下文和实际使用案例，每一个都很有用。

可复用模型服务: 通常称为预封装模型服务器。允许部署每次无需重新打包新服务器的相似模型。他们经常从中心化仓库存储获取模型（比容公司的 s3 存储）。
不可复用模型服务: 专用服务，旨在为单一特殊模型服务。不需要中央存储库，但需要为每个模型构建新镜像。

在相关文档页阅读更多关于预封装 Model Servers：

从这里阅读如何创建自己的预封装模型服务。

语言封装¶

语言封装允许 Seldon 用户创建构建 Reusable 和 Non-Reusable 模型服务。如你所见，整个过程非常简单，仅要求用户定义模型加载逻辑和推理预测的执行以来。

模型加载和推理逻辑在 Model.py 文件进行定义：

class Model:
  def __init__(self, ...):
    """Custom logic that prepares model.

    - Reusable servers: your_loader 从远程仓库加载模型
    - Non-Reusable servers: your_loader loads model from a file embedded in the image.
    """
    self._model = your_loader(...)

  def predict(self, features, names=[], meta=[]):
    """Custom inference logic.""""
    return self._model.predict(...)

Reusable 和 Non-Reusable 模型服务的主要区别在于模型是否动态加载或者内嵌于镜像。

seldon-core-microservice Python 封装器可将 Model.py 转成完全可操作的微服务：

$ seldon-core-microservice Model --service-type MODEL

这将在节点中启动服务（默认: 9000）:

$ curl http://localhost:9000/api/v1.0/predictions \
    -H 'Content-Type: application/json' \
    -d '{"data": {"names": ..., "ndarray": ...}}'

{
   "meta" : {...},
   "data" : {"names": ..., "ndarray" : ...}
}

要实现完全的容器化处理仍需两步：

描述运行时依赖的 requirements.txt
描述微服务的 .s2/environment （接口和模型类型）

一旦这些就位，您可以使用一个简单的 s2i 命令

s2i build . seldonio/seldon-core-s2i-python3:1.9.1 model:0.1

来准备创建 Docker 镜像。

请在专门的文档页阅读 Python 语言封装资料。

Seldon Deployment CRD¶

Seldon Deployment CRD （自定义资源）是 Seldon Core 的真正优势所在。它允许您轻松地将推理模型部署到 Kubernetes 集群并处理一些真正的生产流量！

自定义资源是 Kubernetes API 的基础扩展。它们允许你创建基本的 Kubernetes 对象的自定义组合并协同工作。在 Seldon Core 我们通过 yaml 清单文件使用 CRDs 来定义推理图。

你编写的清单文件非常强大但简单。您可以轻松地定义部署中所需的模型以及它们在推理图中的连接方式。

您可以将 CRD 视为围绕集群中创建的实际部署和服务的抽象。一旦将清单应用于集群，Seldon Core Operator 将创建所有为推理请求服务所需的 Kubernetes 对象。

阅读更多 Seldon Deployment CRD 资料文档.

Seldon Core Operator¶

Seldon Core Operator 通过 Kubebuilder 创建，他将在 Kubernetes 集群控制 Seldon Deployments。它会读取 Seldon Deployment CRD 资源定义并应用于集群，并自动创建所需 Pods 和 Services 组建。