内容摘要：背景说明我们在业务上容器的过程中遇到了如下问题：以 deployment 部署的应用 pod，由于 id 经常变更，服务重启，监控变得难以维护。这里只是以监控为切入点，事实上，还有诸多应用需要与id强

 

背景说明

我们在业务上容器的有状应用过程中遇到了如下问题：

以 deployment 部署的应用 pod，由于 id 经常变更，态部服务重启，署慢使用实现监控变得难以维护。容器这里只是固定以监控为切入点，事实上，有状应用还有诸多应用需要与id强绑定。态部 statefulset 可以解决上面的署慢使用实现问题，但是容器引入一个新的问题就是 statefulset 本身为了维护有状态的应用，所有的固定应用 Pod 启动是有严格的先后顺序，也就是有状应用串行启动，对于大规模的态部应用 pod 来讲，启动消耗时间太长，署慢使用实现这是容器无法忍受的。

为解决以上问题，固定我们在容器平台当中引入了 openkruise。

openkruise简介

项目地址：https://github.com/openkruise/kruise

详细的说明可以参考这篇文章：

https://yq.aliyun.com/articles/706442

从当前 github 上的文档来看，服务器租用目前 OpenKruise 支持五种改进的控制器：

CloneSet: CloneSet is a workload that mainly focuses on managing stateless applications. It provides full features for more efficient, deterministic and controlled deployment, such as inplace update, specified pod deletion, configurable priority/scatter update, preUpdate/postUpdate hooks. Advanced StatefulSet: An enhanced version of default StatefulSet with extra functionalities such as inplace-update, pause and MaxUnavailable. SidecarSet: A controller that injects sidecar containers into the Pod spec based on selectors and also is able to upgrade the sidecar containers. UnitedDeployment: This controller manages application pods spread in multiple fault domains by using multiple workloads. BroadcastJob: A job that runs Pods to completion across all the nodes in the cluster.

UnitedDeployment 是在 StatefulSet 基础上的更高级抽象，通过一个资源描述可以管理多个 StatefulSet 的实例组，可实现多实例组的灰度发布与滚动升级。

Broadcast Job 实际上就是以 DaemonSet 的方式在所有节点上运行一次性 Job，SidercarSet 用于 Sidercar 注入及管理。

而我们要使用到的正是其 Advanced StatefulSet 的特性。关于Advanced StatefulSet更详细的描述如下：

在kubernetes官方的statefulSet上做了功能扩展，更新策略由原来的只支持recreate，扩展为同时支持recreate和rollingupdate。rollingupdate还支持两种策略，一种是InPlaceIfPossible，另一种是InPlaceOnly。InPlaceIfPossible会尽可能的保证应用在原地升级（只支持镜像的升级，如果修改了yaml中的其他配置项，则无法保证）；InPlaceOnly会保证应用一定在原地升级，云南idc服务商但是它也只支持镜像的升级，如果修改了yaml中的其他配置项，会直接抛出异常。另外，原生的StatefulSet只能做到串行启动，Advanced StatefulSet可以做到并行启动。

部署openkruise

官方的安装文档可以直接参考这里：

https://github.com/openkruise/kruise/tree/master/docs/tutorial

我简单写下安装步骤：

wget https://github.com/openkruise/kruise/releases/download/v0.4.0/kruise-chart.tgz tar xf kruise-chart.tgz cd kruise helm install openkruise ./ -n kube-system 

目前openkruise已经更新到了v0.5.0的版本。也可以直接通过阿里云的应用目录来完成其安装。

下面说一下更详细的安装过程：

1、获取helm包

helm repo add incubator http://aliacs-k8s-cn-beijing.oss-cn-beijing.aliyuncs.com/app/charts-incubator/ helm search repo ack-kruise helm fetch incubator/ack-kruise tar xf ack-kruise-0.5.0.tgz cd ack-kruise 

修改values.yml文件如下：

# Default values for kruise. revisionHistoryLimit: 3 manager: # settings for log print log: # log level for kruise-manager level: "4" # image settings image: # repository for kruise-manager image repository: hub.example.com/library/kruise-manager # tag for kruise-manager image tag: v0.5.0 # resources of kruise-manager container resources: limits: cpu: 500m memory: 1Gi requests: cpu: 500m memory: 1Gi metrics: addr: localhost port: 8080 custom_resource_enable: StatefulSet 

其实这里就改了两个东西：

image：默认是docker hub上的地址，我这里改到了私有镜像仓库 custom_resource_enable：用于指定启用哪几种资源，如果不指定的话，openkruise支持的五种资源会全部启用，我这里只用到了StatefulSet，所以这里只启用了这一种资源

然后执行安装操作：

helm install ack-kruise -n kube-system ./ 

安装完后，会生成以下五种crd：

# kubectl get crds |grep kruise broadcastjobs.apps.kruise.io 2020-04-26T10:29:28Z clonesets.apps.kruise.io 2020-04-26T10:29:28Z sidecarsets.apps.kruise.io 2020-04-26T10:29:28Z statefulsets.apps.kruise.io 2020-04-26T10:29:28Z uniteddeployments.apps.kruise.io 2020-04-26T10:29:28Z 

同时会创建一个 kruise-system 的命名空间，并在里面生成一个 pod：

# kubectl get pods -n kruise-system NAME READY STATUS RESTARTS AGE kruise-controller-manager-0 1/1 Running 0 55m 

验证 statefulset 资源的 webhook 是否被正常创建：

# kubectl get mutatingwebhookconfiguration -o yaml apiVersion: v1 items: - apiVersion: admissionregistration.k8s.io/v1 kind: MutatingWebhookConfiguration metadata: creationTimestamp: "2020-04-26T10:29:28Z" generation: 3 name: kruise-mutating-webhook-configuration resourceVersion: "622944921" selfLink: /apis/admissionregistration.k8s.io/v1/mutatingwebhookconfigurations/kruise-mutating-webhook-configuration uid: 303a7b7f-3a62-49d7-8ef6-082ea288eeb2 webhooks: - admissionReviewVersions: - v1beta1 clientConfig: caBundle: xxxxx service: name: kruise-webhook-server-service namespace: kruise-system path: /mutating-create-update-statefulset port: 443 failurePolicy: Fail matchPolicy: Exact name: mutating-create-update-statefulset.kruise.io namespaceSelector: matchExpressions: - key: control-plane operator: DoesNotExist objectSelector: { } reinvocationPolicy: Never rules: - apiGroups: - apps.kruise.io apiVersions: - v1alpha1 operations: - CREATE - UPDATE resources: - statefulsets scope: * sideEffects: Unknown timeoutSeconds: 30 ...... 

也是确保其他未用到的云服务器相关 mutatingwebhook 是关闭的。。在实际测试中，SidecarSet 资源的 mutatingwebhook 可能会导致创建的 pod 出不来。

这些webhook本质上都是kubernetes的admissioncontrol，只要你安装了，哪怕没有使用，当你在执行相关操作时，都需要被所有的adminssioncontrol检测，如果admissioncontrol本身出了问题，就会导致请求无法响应的状态。同时这些webhook类型的adminssioncontrol也会拖慢响应速度。

用法示例

下面是官方提供的一个基于 openkruise 提供的 statefulset 资源的部署文件示例：

apiVersion: apps.kruise.io/v1alpha1 kind: StatefulSet metadata: name: demo-v1-guestbook-kruise labels: app.kubernetes.io/name: guestbook-kruise app.kubernetes.io/instance: demo-v1 spec: replicas: 3 serviceName: demo-v1-guestbook-kruise selector: matchLabels: app.kubernetes.io/name: guestbook-kruise app.kubernetes.io/instance: demo-v1 template: metadata: labels: app.kubernetes.io/name: guestbook-kruise app.kubernetes.io/instance: demo-v1 spec: readinessGates: # A new condition that ensures the pod remains at NotReady state while the in-place update is happening - conditionType: InPlaceUpdateReady containers: - name: guestbook-kruise image: openkruise/guestbook:v1 imagePullPolicy: Always ports: - name: http-server containerPort: 3000 podManagementPolicy: Parallel # allow parallel updates, works together with maxUnavailable updateStrategy: type: RollingUpdate rollingUpdate: # Do in-place update if possible, currently only image update is supported for in-place update podUpdatePolicy: InPlaceIfPossible # Allow parallel updates with max number of unavailable instances equals to 2 maxUnavailable: 3 

执行部署之后，启动 pod 示例如下：

# kubectl get pods |grep demo-v1 demo-v1-guestbook-kruise-0 1/1 Running 0 62s demo-v1-guestbook-kruise-1 1/1 Running 0 62s demo-v1-guestbook-kruise-2 1/1 Running 0 62s 

也可通过如下操作查看资源状态：

# kubectl get sts.apps.kruise.io NAME DESIRED CURRENT UPDATED READY AGE demo-v1-guestbook-kruise 3 3 3 3 56s openkruise提供的statefulset的资源名为sts.apps.kruise.io 

更详细的用法可参考：

Advanced StatefulSet具体的使用方法：https://github.com/openkruise/kruise/blob/master/docs/concepts/astatefulset/README.md

Advanced StatefulSet示例文件：https://github.com/openkruise/kruise/blob/master/docs/tutorial/v1/guestbook-statefulset.yaml

UnitedDeployment具体的使用方法：https://github.com/openkruise/kruise/blob/master/docs/tutorial/uniteddeployment.md

UnitedDeployment示例文件：https://raw.githubusercontent.com/kruiseio/kruise/master/docs/tutorial/v1/uniteddeployment.yaml