Arthas 简介

Arthas 是Alibaba开源的Java诊断工具，深受开发者喜爱。

Arthas 支持 JDK 6+，支持 Linux、Mac、Windows，采用命令行交互模式，同时提供丰富的 Tab 自动补全功能，进一步方便进行问题的定位和诊断。

Arthas 能帮你解决的问题

• 1、这个类从哪个 jar 包加载的？为什么会报各种类相关的 Exception？
• 2、我改的代码为什么没有执行到？难道是我没 commit？分支搞错了？
• 3、遇到问题无法在线上 debug，难道只能通过加日志再重新发布吗？
• 4、线上遇到某个用户的数据处理有问题，但线上同样无法 debug，线下无法重现！
• 5、是否有一个全局视角来查看系统的运行状况？
• 6、有什么办法可以监控到JVM的实时运行状态？
• 7、怎么快速定位应用的热点，生成火焰图？

问题产生

在使用 Kubernetes 时，有时会遇到 Pod 状态一直处理 Terminating。Pod 一直没有正常退出，一般情况会使用命令 kubectl delete pods pod-name --force --grace-period=0 强制删除。

如果按照上面命令强制删除Pod，有一定概率会报 Orphaned pod found - but volume paths are still present on disk 错误。

前言

Kubernetes 集群备份一直是我们的痛点。虽然可以通过备份ETCD来实现K8S集群备份，但是这种备份很难恢复单个 Namespace。

今天推荐 Velero 工具，它提供以下功能：

• 灾备场景：提供备份恢复k8s集群的能力
• 迁移场景：提供拷贝集群资源到其他集群的能力（复制同步开发，测试，生产环境的集群配置，简化环境配置）

Velero 项目地址：https://github.com/vmware-tanzu/velero

Velero 阿里云插件地址：https://github.com/AliyunContainerService/velero-plugin

问题

大家在使用 Kubernetes 时，会遇到创建Pod失败，这时会分析什么原因导致创建Pod失败？

Pod status 状态解释 [1]

• CrashLoopBackOff：容器退出，kubelet正在将它重启
• InvalidImageName：无法解析镜像名称
• ImageInspectError：无法校验镜像
• ErrImageNeverPull：策略禁止拉取镜像
• ImagePullBackOff：镜像正在重试拉取
• RegistryUnavailable：连接不到镜像中心
• ErrImagePull：通用的拉取镜像出错
• CreateContainerConfigError：不能创建kubelet使用的容器配置
• CreateContainerError： 创建容器失败
• m.internalLifecycle.PreStartContainer：执行hook报错
• RunContainerError：启动容器失败
• PostStartHookError：执行hook报错
• ContainersNotInitialized：容器没有初始化完毕
• ContainersNotReady：容器没有准备完毕
• ContainerCreating：容器创建中
• PodInitializing：pod 初始化中
• DockerDaemonNotReady：docker还没有完全启动
• NetworkPluginNotReady：网络插件还没有完全启动

前言

随着 Kubernetes 越来越流行，不管大公司还是小公司都往 Kubernetes 迁移，每个公司最少有两套集群（测试和生产），但是多个集群就有多个 Kubeconfig 用户授权文件。虽然官方文档中有介绍多个 Kubeconfig 文件合并成一个 Kubeconfig，但是对于一些新手来说，看得不是很明白。

本文介绍 Kubeconfig 文件结构，并推荐一个工具自动合并 Kubeconfig。

Lens 介绍

Lens 是一个强大的 kubernetes IDE。可以实时查看 kubernetes 集群状态，比如 Pod实时日志查看、集群Events实时查看、集群故障排查等。有了 Lens，不在需要敲打很长的 kubectl 命令，只要使用鼠标点击几下，非常便捷。

Lens 支持多平台安装，目前支持 Linux、MacOS、Windows。

前言

Helm V3 与 V2 版本架构变化较大，数据迁移也比较麻烦，官方为了解决数据迁移问题，提供一个 helm-2to3 工具，本文基于 helm-2to3 工具来迁移 V2 版本中的数据。

Helm V3 与 V2 变化，请参考 Helm v3 新的功能

注意：Helm V2 升级 V3 版本，Kubernetes 集群中 Deployment、Service、Pod等都不会重新创建，所以迁移过程是不会影响线上在跑的服务。

前言

作者以前就遇到过Linux整个系统文件权限都被设置为777。并且系统没有权限备份，当时服务器也不是云主机，所以没有快照备份。

遇到这种情况怎么办？下面分享下作者个人恢复方法。

万能的百度搜索

通过百度搜索，搜索到一个权限备份与恢复工具：

• getfacl：备份Linux文件或者目录权限
• setfacl：恢复Linux文件或者目录权限

背景

Linux 利用 Cgroup 实现了对容器的资源限制，但在容器内部依然缺省挂载了宿主机上的 procfs 的 /proc 目录，其包含如：meminfo、cpuinfo、stat、uptime 等资源信息。一些监控工具如 free、top 或 业务应用还依赖上述文件内容获取资源配置和使用情况。当它们在容器中运行时，就会把宿主机的资源状态读取出来，导致资源设置不对。

上面提到的问题，可以通过 LXCFS 方法来解决。

背景

Kubernetes 集群环境中，有时候需要修改 Node 节点主机名，这时我们应该如何操作？

有些同学，在更改了 kubelet.conf 配置中 hostname-override 参数，也更改了 kube-proxy-config.yml 配置中 hostnameOverride 参数，删除 Node 节点并且重启 kubelet 和 kube-proxy 服务，但主机名并没有修改，这是为什么？下文会给出解释。

环境是使用 二进制搭建的 kubernetes v1.18.2 版本