Kubernetes环境下的各种调试方法

启动单个容器

不使用pod或replication controller，启动单个容器:

$ kubectl run webserver --image=nginx

想更改镜像，又不想升级版本？

每次修改之后，需要更新镜像的版本也好烦人啊。每次构建出新的镜像，push到docker registry时，可以使用一个固定的版本，然后让kubernetes在启动某个镜像时，无论本地是否有镜像，都去docker registry拉取镜像就好了。

imagepullpolicy从默认的 ifnotpresent,改为 always。

想直接修改容器里的程序，又不想更新镜像？

什么，还能这样做？在容器内部修改，比如修改了脚本，或者直接替换二进制程序，然后使用docker restart container-id。我尝试过此时使用docker commit提交修改,但是下次启动时，kubernets就会报错。应该是有完整性校验的原因。

pod重启了，如何看重启之前的日志？

下面的命令只能看到当前pod的日志：

$ kubectl logs zookeeper-1

通过 --previous参数可以看之前pod的日志

$ kubectl logs zookeeper-1 --previous

查看pod生命周期的事件

通过如下命令，看命令末尾 events 一节，查看kubelet给apiserver发送的pod生命周期里发生的事件

$ kubectl describe pod podname

没有看到任何事件，但是pod重启了？

依然通过describe命令，containers.[*].last state一节：

name:       kafka-1 

...

containers:

  kafka:

    ...

    state:      running

       started:     sat, 08 apr 2017 02:29:04 +0000

    last state:     terminated

       reason:      oomkilled

      exit code:    0

       started:     fri, 07 apr 2017 11:06:56 +0000

      finished:     sat, 08 apr 2017 02:29:04 +0000

    ready:      true

   restart count:   1

可以看到 kafka-1 这个container因为内存消耗太多，达到内存的上限(memory resource limit)而被干掉了。如果看到 reason: completed,说明是容器内部pid为1的程序主动退出的。

查看资源(cpu/memory)使用情况

资源使用最多的节点

$ kubectl top nodes

资源使用最多的pod

$ kubectl top pods

查看节点的资源使用情况

$ kubectl describe nodes | grep -a 2 -e "^\\s*cpu requests"

如何摘下某个pod进行debug

使用label机制，对pod进行标记。在service定义中，我们添加 status: serving字段。当需要摘下某个pod做debug，而又不影响整个服务，可以：

$ kubectl get pods --selector="status=serving"

$ kubectl label pods webserver-rc-lxag2 --overwrite status=debuging

此时kubelet就会把这个pod从service的后端列表中删掉。等到debug完，想恢复？再改回去就好了：

$ kubectl label pods webserver-rc-lxag2 --overwrite status=serving

references:

10 most common reasons kuberntes deployments fail

kubernetes community resources