背景

随着 Kubernetes 越来越火爆，运维人员排查问题难度越来越大。比如我们收到监控报警，某台 Kubernetes Node 节点负载高。通过 top 或者 pidstat 命令获取 Pid，问题来了，这个 Pid 对应那个 Kubernetes Pod 呢？

下面是作者写的两个小工具，可以帮助运维同胞们快速定位问题。

问题

使用阿里云ECS搭建 Harbor 服务（docker-compose 部署）遇到网络地址冲突，导致Harbor云主机ECS无法访问其它VPC网段云主机，这是为什么？

使用 docker-compose 部署过Harbor同学都知道，在创建 Harbor 时，默认会创建 5个 网段，见下图。

问题来了，因为使用阿里云 VPC网络，网段为 172.16.0.0/12 ，下面是网络拓扑图。

从上面两张图可以发现，网络地址段有重叠，会导致部署Harbor的云主机无法与其它VPC可用区云主机通信。

引子

一直以来，前端性能优化 都是前端程序员在业务开发过程中不得不考虑的一个点。前端同学也一直寄希望于服务器更大的吞吐量、更密集的cdn节点；更寄希望于浏览用户使用更优秀的浏览器及更大的带宽。。。然而随着上述几种情况一一被落实时，前端性能仍然没有达到一个让人满意的结果。。。

此过程中，前端人就自身情况也进行了多种尝试，其中前端本地缓存可以说是性能优化中简单高效的一种方式，该方式缩短了网页请求资源的时长，此外缓存文件可以复用，则进一步减少了网络请求次数与实践，提高了页面加载效率。

Arthas 简介

Arthas 是Alibaba开源的Java诊断工具，深受开发者喜爱。

Arthas 支持 JDK 6+，支持 Linux、Mac、Windows，采用命令行交互模式，同时提供丰富的 Tab 自动补全功能，进一步方便进行问题的定位和诊断。

Arthas 能帮你解决的问题

• 1、这个类从哪个 jar 包加载的？为什么会报各种类相关的 Exception？
• 2、我改的代码为什么没有执行到？难道是我没 commit？分支搞错了？
• 3、遇到问题无法在线上 debug，难道只能通过加日志再重新发布吗？
• 4、线上遇到某个用户的数据处理有问题，但线上同样无法 debug，线下无法重现！
• 5、是否有一个全局视角来查看系统的运行状况？
• 6、有什么办法可以监控到JVM的实时运行状态？
• 7、怎么快速定位应用的热点，生成火焰图？

问题产生

在使用 Kubernetes 时，有时会遇到 Pod 状态一直处理 Terminating。Pod 一直没有正常退出，一般情况会使用命令 kubectl delete pods pod-name --force --grace-period=0 强制删除。

如果按照上面命令强制删除Pod，有一定概率会报 Orphaned pod found - but volume paths are still present on disk 错误。

前言

Kubernetes 集群备份一直是我们的痛点。虽然可以通过备份ETCD来实现K8S集群备份，但是这种备份很难恢复单个 Namespace。

今天推荐 Velero 工具，它提供以下功能：

• 灾备场景：提供备份恢复k8s集群的能力
• 迁移场景：提供拷贝集群资源到其他集群的能力（复制同步开发，测试，生产环境的集群配置，简化环境配置）

Velero 项目地址：https://github.com/vmware-tanzu/velero

Velero 阿里云插件地址：https://github.com/AliyunContainerService/velero-plugin

问题

大家在使用 Kubernetes 时，会遇到创建Pod失败，这时会分析什么原因导致创建Pod失败？

Pod status 状态解释 [1]

• CrashLoopBackOff：容器退出，kubelet正在将它重启
• InvalidImageName：无法解析镜像名称
• ImageInspectError：无法校验镜像
• ErrImageNeverPull：策略禁止拉取镜像
• ImagePullBackOff：镜像正在重试拉取
• RegistryUnavailable：连接不到镜像中心
• ErrImagePull：通用的拉取镜像出错
• CreateContainerConfigError：不能创建kubelet使用的容器配置
• CreateContainerError： 创建容器失败
• m.internalLifecycle.PreStartContainer：执行hook报错
• RunContainerError：启动容器失败
• PostStartHookError：执行hook报错
• ContainersNotInitialized：容器没有初始化完毕
• ContainersNotReady：容器没有准备完毕
• ContainerCreating：容器创建中
• PodInitializing：pod 初始化中
• DockerDaemonNotReady：docker还没有完全启动
• NetworkPluginNotReady：网络插件还没有完全启动

前言

随着 Kubernetes 越来越流行，不管大公司还是小公司都往 Kubernetes 迁移，每个公司最少有两套集群（测试和生产），但是多个集群就有多个 Kubeconfig 用户授权文件。虽然官方文档中有介绍多个 Kubeconfig 文件合并成一个 Kubeconfig，但是对于一些新手来说，看得不是很明白。

本文介绍 Kubeconfig 文件结构，并推荐一个工具自动合并 Kubeconfig。

Lens 介绍

Lens 是一个强大的 kubernetes IDE。可以实时查看 kubernetes 集群状态，比如 Pod实时日志查看、集群Events实时查看、集群故障排查等。有了 Lens，不在需要敲打很长的 kubectl 命令，只要使用鼠标点击几下，非常便捷。

Lens 支持多平台安装，目前支持 Linux、MacOS、Windows。

前言

Helm V3 与 V2 版本架构变化较大，数据迁移也比较麻烦，官方为了解决数据迁移问题，提供一个 helm-2to3 工具，本文基于 helm-2to3 工具来迁移 V2 版本中的数据。

Helm V3 与 V2 变化，请参考 Helm v3 新的功能

注意：Helm V2 升级 V3 版本，Kubernetes 集群中 Deployment、Service、Pod等都不会重新创建，所以迁移过程是不会影响线上在跑的服务。