Seldon Core 与 Kubeflow 的原生集成¶
Seldon Core 团队是 Kubeflow 核心团队的一部分,这意味着我们不断确保 Seldon Core 与 Kubeflow Stack 完全集成。
Seldon Core 随 Kubeflow 一起安装。Seldon Core 网站 提供了完整的运行 Seldon Core 推理的文档。
如果你有保存在 PersistentVolume (PV), Google Cloud Storage bucket 或 Amazon S3 Storage 的模型,你可以使用 Seldon Core 提供的模型服务器。
Seldon Core 也提供了 特定模型语言封装 来封装你的推理代码,使其在 Seldon Core 中运行。
Kubeflow 细节¶
您需要确保为您的模型提供服务的命名空间具有:
一个名为 kubeflow-gateway 的 Istio 网关
标签设置为
serving.kubeflow.org/inferenceservice=enabled
以下示例将标签应用于 my-namespace 命名空间以提供服务:
kubectl label namespace my-namespace serving.kubeflow.org/inferenceservice=enabled
创建一个在命名空间 my-namespace 被调用的网关 kubeflow-gateway:
apiVersion: networking.istio.io/v1alpha3
kind: Gateway
metadata:
name: kubeflow-gateway
namespace: my-namespace
spec:
selector:
istio: ingressgateway
servers:
- hosts:
- '*'
port:
name: http
number: 80
protocol: HTTP
使用 kubectl 保存上述资源并应用。