前言

锄禾日当午，值班好辛苦；

汗滴禾下土，一查一下午。

问题描述

今天，在值班排查线上问题的过程中，发现系统日志一直在刷docker异常日志：

1
2
3

May 12 09:08:40 HOSTNAME dockerd[4085]: time="2021-05-12T09:08:40.642410594+08:00" level=error msg="stream copy error: reading from a closed fifo"
May 12 09:08:40 HOSTNAME dockerd[4085]: time="2021-05-12T09:08:40.642418571+08:00" level=error msg="stream copy error: reading from a closed fifo"
May 12 09:08:40 HOSTNAME dockerd[4085]: time="2021-05-12T09:08:40.663754355+08:00" level=error msg="Error running exec 110deb1c1b2a2d2671d7368bd02bfc18a968e4712a3c771dedf0b362820e73cb in container: OCI runtime exec failed: exec failed: container_linux.go:348: starting container process caused \"read init-p: connection reset by peer\": unknown"

从系统风险性上来看，异常日志出现的原因需要排查清楚，并摸清是否会对业务产生影响。

下文简单介绍问题排查的流程，以及产生的原因。

阿里云ACK是什么

阿里云容器服务Kubernetes版（Alibaba Cloud Container Service for Kubernetes，简称容器服务ACK）是全球首批通过Kubernetes一致性认证的服务平台，提供高性能的容器应用管理服务，支持企业级Kubernetes容器化应用的生命周期管理，让您轻松高效地在云端运行Kubernetes容器化应用。

Service几种暴露方式

Kubernetes Service 支持下面一些暴露方式：

• NodePort：通过每个节点上的 IP 和静态端口（NodePort）暴露服务。 NodePort 服务会路由到自动创建的 ClusterIP 服务。 通过请求 <节点 IP>:<节点端口>，你可以从集群的外部访问一个 NodePort 服务。
• hostNetwork: true：Pod中运行的应用程序可以直接看到pod启动主机网络接口。
• hostPort：是直接将容器端口与所调度节点上的端口路由，这样用户就可以通过宿主机IP加端口来访问Pod。
• LoadBalancer：使用云提供商的负载均衡器向外部暴露服务。 外部负载均衡器可以将流量路由到自动创建的 NodePort 服务和 ClusterIP 服务上。
• ExternalName：通过返回 CNAME 和对应值，可以将服务映射到 externalName 字段的内容（例如，foo.bar.example.com）。 无需创建任何类型代理。
• Ingress：是自kubernetes1.1版本后引入的资源类型。必须要部署Ingress controller才能创建Ingress资源，Ingress controller是以一种插件的形式提供。Ingress controller 是部署在Kubernetes之上的Docker容器。它的Docker镜像包含一个像nginx或HAProxy的负载均衡器和一个控制器守护进程。控制器守护程序从Kubernetes接收所需的Ingress配置。它会生成一个nginx或HAProxy配置文件，并重新启动负载平衡器进程以使更改生效。换句话说，Ingress controller是由Kubernetes管理的负载均衡器。

一、部署要求

Apache Airflow 已通过以下测试：

注意: MySQL 5.x 版本不能或有运行多个调度程序的限制——请参阅调度程序文档。MariaDB 未经过测试/推荐。

注意: SQLite 用于 Airflow 测试。不要在生产中使用它。我们建议使用最新的 SQLite 稳定版本进行本地开发。

PS：本文部署 Airflow 稳定版 2.1.4，Kubernetes使用1.20.x版本，PostgreSQL使用12.x，使用Helm Charts部署。

背景

业务应用经常有需要用到用户真实ip的场景，比如：异地登录的风险预警、访问用户分布统计等功能等。当有这种需求的时候，在业务上容器过程中，如果用到ingress就要注意配置了。通常，用户ip的传递依靠的是X-Forwarded-*参数。但是默认情况下，ingress是没有开启的。

ingress的文档 https://kubernetes.github.io/ingress-nginx/user-guide/nginx-configuration 还比较详细，这里介绍一下用到的3个参数：

注：在文档顶栏的搜索框搜索forward字样就可以找到这3个参数

kubecolor 带有色彩输出

• 获取 kubernetes node 节点信息

• 显示 kubernetes pods 详细信息

TPS 概念

TPS：是TransactionsPerSecond的缩写，也就是事务数/秒。它是软件测试结果的测量单位。一个事务是指一个客户机向服务器发送请求然后服务器做出反应的过程。客户机在发送请求时开始计时，收到服务器响应后结束计时，以此来计算使用的时间和完成的事务个数。

QPS 概念

QPS：Queries Per Second意思是每秒查询率，是一台服务器每秒能够相应的查询次数，是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准。

CPS 概念

CPS：Connection Per Second意思是每秒新建连接数，定义了新建连接的速率。当新建连接的速率超过规格定义的每秒新建连接数时，新建连接请求将被丢弃。

一 背景

1.1 配置中心问题

在云原生中配置中心，例如：Configmap和Secret对象，虽然可以进行直接更新资源对象

• 对于引用这些有些不变的配置是可以打包到镜像中的，那可变的配置呢？
• 信息泄漏，很容易引发安全风险，尤其是一些敏感信息，比如密码、密钥等。
• 每次配置更新后，都要重新打包一次，升级应用。镜像版本过多，也给镜像管理和镜像中心存储带来很大的负担。
• 定制化太严重，可扩展能力差，且不容易复用。

1.2 使用方式

Configmap或Secret使用有两种方式，一种是env系统变量赋值，一种是volume挂载赋值，env写入系统的configmap是不会热更新的，而volume写入的方式支持热更新！

• 对于env环境的，必须要滚动更新pod才能生效，也就是删除老的pod，重新使用镜像拉起新pod加载环境变量才能生效。
• 对于volume的方式，虽然内容变了，但是需要我们的应用直接监控configmap的变动，或者一直去更新环境变量才能在这种情况下达到热更新的目的。

应用不支持热更新，可以在业务容器中启动一个sidercar容器，监控configmap的变动，更新配置文件，或者也滚动更新pod达到更新配置的效果。

前言

大家都知道，数据量小的备份都使用 mysqldump 命令来备份，最近本人从阿里云RDS实例备份博客数据，并再次把备份出来的数据导入到RDS实例时，会遇到错误 [Err] 1227 - Access denied; you need (at least one of) the SUPER privilege(s) for this operation。

PS：阿里云RDS实例版本：5.6

遇到上面错误感觉很奇怪，为什么没有权限写入，使用的账号是高级账号，为什么没有权限了？？？

前言

大家都知道，在没有K8S集群时，我们能直接连接测试环境服务实现debug。随着K8S到来，我们无法直接连接业务服务dubug，K8S Pod 分配的IP地址是集群内部网络，集群外部网络是无法直接访问到Pod，那有什么好的解决方法能直接连接Pod？下面介绍下开源 Telepresence。

Telepresence 简介

Telepresence 是一种开源工具，可让您在本地运行单个服务，同时将该服务连接到远程 Kubernetes 集群。这使开发 multi-service 应用程序的开发人员能够：

• 对单个服务进行快速本地开发，即使该服务依赖于集群中的其他服务。对您的服务进行更改并保存，您可以立即看到正在运行的新服务。
• 使用本地安装的任何工具来 测试/调试/编辑 您的服务。例如，您可以使用调试器或 IDE！
• 让您的本地开发机器像 Kubernetes 集群的一部分一样运行。如果您的机器上有一个应用程序要针对集群中的服务运行——这很容易做到。

开源地址: https://github.com/telepresenceio/telepresence

多实例共享存储架构图

本文 LB 不使用 Nginx，使用阿里SLB。

更多 Harbor 架构，请参考 聊聊Harbor架构

本文架构需要考虑三个问题

• 1、共享存储的选取，Harbor的后端存储目前支持AWS S3、Openstack Swift, Ceph等。本文使用阿里云极速性NAS，磁盘IO性能比单块磁盘读写性能要好。使用 NFS V3 版本挂载。
• 2、Session 不能在不同的实例上共享，所以Harbor Redis 需要单独部署，并且多个实例连接相同的Redis。
• 3、Harbor多实例数据库问题，必须单独部署一个数据库，并且多个实例连接相同的数据库。

注意：生产环境如果使用阿里云NAS，推荐使用 极速性NAS，不推荐使用 通用型NAS。

阿里云NAS性能参考文档 https://help.aliyun.com/document_detail/124577.html?spm=a2c4g.11186623.6.552.2eb05ea0HJUgUB