关于容器日志

Docker的日志分为两类，一类是 Docker引擎日志；另一类是容器日志。引擎日志一般都交给了系统日志，不同的操作系统会放在不同的位置。本文主要介绍容器日志，容器日志可以理解是运行在容器内部的应用输出的日志，默认情况下，docker logs 显示当前运行的容器的日志信息，内容包含 STOUT(标准输出) 和 STDERR(标准错误输出)。日志都会以 json-file 的格式存储于 /var/lib/docker/containers/<容器id>/<容器id>-json.log ，不过这种方式并不适合放到生产环境中。

• 默认方式下容器日志并不会限制日志文件的大小，容器会一直写日志，导致磁盘爆满，影响系统应用。(docker log-driver 支持log文件的rotate)
• Docker Daemon 收集容器的标准输出，当日志量过大时会导致Docker Daemon 成为日志收集的瓶颈，日志的收集速度受限。
• 日志文件量过大时，利用docker logs -f 查看时会直接将Docker Daemon阻塞住，造成docker ps等命令也不响应。

Docker提供了logging drivers配置，用户可以根据自己的需求去配置不同的log-driver，可参考官网 Configure logging drivers 。但是上述配置的日志收集也是通过Docker Daemon收集，收集日志的速度依然是瓶颈。

• log-driver 日志收集速度
• syslog 14.9 MB/s
• json-file 37.9 MB/s

能不能找到不通过Docker Daemon收集日志直接将日志内容重定向到文件并自动 rotate的工具呢？答案是肯定的采用S6基底镜像。

S6-log 将 CMD 的标准输出重定向到/…/default/current，而不是发送到 Docker Daemon，这样就避免了 Docker Daemon 收集日志的性能瓶颈。本文就是采用S6基底镜像构建应用镜像形成统一日志收集方案。

S6：http://skarnet.org/software/s6/

ELK 7.10 搭建

ELK 7.10 搭建请参考 容器部署ELK7.10-适用于生产

Grafana展示Nginx图表

什么是性能分析？

性能分析是分析应用程序性能以改善代码段性能的行为。可视化配置文件并快速识别性能问题的最流行方法之一是生成 “火焰图”。例如下图

y轴是堆栈深度，x轴跨越样本总体。 每个矩形都是一个函数，其中的宽度表示它在配置文件中出现的频率。 从左到右的顺序并不重要(堆栈按字母顺序排序)。

在Kubernetes上如何分析应用性能？

应用性能分析是一项艰巨的任务。 大多数探查器有两个主要问题：

• 需要修改应用程序。 通常，可以通过将标志添加到执行命令或将一些性能分析库导入代码中来实现。
• 由于在性能分析过程中会严重影响性能，因此通常避免在产品中进行性能分析。

在Kubernetes集群中运行的应用程序上执行分析时，甚至更加困难。 需要部署一个包含配置文件修改的新容器映像，而不是当前正在运行的容器。 此外，当应用程序重新启动时，某些性能问题可能会消失，这使调试变得困难。

前言

一个 Redis 需要从另一个 Redis 数据同步 或者 数据迁移，这种一般怎么做？

数据迁移 这种一般比较好做，可以直接从源redis导出rdb，再把rdb文件导入目标redis。但是如果需要实时增量同步就比较困难，有什么好的方法解决这种需求，这里介绍下阿里云开源 redis-shake 工具。

redis-shake项目地址：https://github.com/alibaba/RedisShake

基本功能

redis-shake：是我们基于redis-port基础上进行改进的一款产品。它支持解析、恢复、备份、同步四个功能。以下主要介绍同步sync。

• 恢复restore：将RDB文件恢复到目的redis数据库。
• 备份dump：将源redis的全量数据通过RDB文件备份起来。
• 解析decode：对RDB文件进行读取，并以json格式解析存储。
• 同步sync：支持源redis和目的redis的数据同步，支持全量和增量数据的迁移，支持从云下到阿里云云- 上的同步，也支持云下到云下不同环境的同步，支持单节点、主从版、集群版之间的互相同步。需要注意- 的是，如果源端是集群版，可以启动一个RedisShake，从不同的db结点进行拉取，同时源端不能开启- move slot功能；对于目的端，如果是集群版，写入可以是1个或者多个db结点。
• 同步rump：支持源redis和目的redis的数据同步，仅支持全量的迁移。采用scan和restore命令进行迁移，支持不同云厂商不同redis版本的迁移。

监控图展示

一、elk架构简介

• 首先 logstash 具有日志采集、过滤、筛选等功能，功能完善但同时体量也会比较大，消耗系统资源自然也多。filebeat作为一个轻量级日志采集工具，虽然没有过滤筛选功能，但是仅仅部署在应用服务器作为我们采集日志的工具可以是说最好的选择。但我们有些时候可能又需要logstash的过滤筛选功能，所以我们在采集日志时用filebeat，然后交给logstash过滤筛选。
• 其次，logstash的吞吐量是有限的，一旦短时间内filebeat传过来的日志过多会产生堆积和堵塞，对日志的采集也会受到影响，所以在filebeat与logstash中间又加了一层kafka消息队列来缓存或者说解耦，当然redis也是可以的。这样当众多filebeat节点采集大量日志直接放到kafka中，logstash慢慢的进行消费，两边互不干扰。
• 至于zookeeper，分布式服务管理神器，监控管理kafka的节点注册，topic管理等，同时弥补了kafka集群节点对外界无法感知的问题，kafka实际已经自带了zookeeper，这里将会使用独立的zookeeper进行管理，方便后期zookeeper集群的扩展。

二、环境

• 阿里云ECS：5台部署ES节点，3台分别部署logstash、kafka、zookeeper和kibana等服务。
• 阿里云ECS配置：5台 4核16G 2TB SSD磁盘。3台 4核16G 200G SSD磁盘。都是 Centos7.8系统
• 安装 docker 和 docker-compose
• ELK版本7.10.1；zookeeper版本3.6.2；kafka版本2.13-2.6.0；

前言

【译】The Almighty Pause Container

当我们检查 kubernetes 集群的 node 节点时，我们使用 docker ps 查看时会发现一些名为 pause 的容器在节点上运行。

1
2
3
4
5
6
7
8
9
10

$ docker ps
CONTAINER ID IMAGE COMMAND ...
...
3b45e983c859 gcr.io/google_containers/pause-amd64:3.0 "/pause" ...
...
dbfc35b00062 gcr.io/google_containers/pause-amd64:3.0 "/pause" ...
...
c4e998ec4d5d gcr.io/google_containers/pause-amd64:3.0 "/pause" ...
...
508102acf1e7 gcr.io/google_containers/pause-amd64:3.0 "/pause" ...

• 这些 pause 容器是什么？
• 为什么会有这么多 pause 容器？
• 这是怎么回事呢？

一、kubectl 命令参数自动补全

使用 Kubernetes，就一定会使用 Kubectl 命令，默认安装好 Kubectl 命令不支持自动补全参数。下面配置 Kubectl 命令参数自动补全方法：

Linux 上，比如 Centos

1
2
3
4

$ yum install -y bash-completion
$ source /usr/share/bash-completion/bash_completion
$ source <(kubectl completion bash)
$ echo "source <(kubectl completion bash)" >> ~/.bashrc

MAC 上

1
2
3
4

$ brew install bash-completion
$ source $(brew --prefix)/etc/bash_completion
$ source <(kubectl completion zsh)
$ echo 'source <(kubectl completion zsh)' >> ~/.zshrc

前言

• Kubelet 中对 Docker 支持被弃用，并将在以后的版本中删除。Kubelet 使用一个名为 dockershim 的模块，该模块实现了对Docker的 CRI 支持，在此PR后续版本将删除dockershim。
• Kubectl 弃用 --delete-local-data 参数。

什么是 Kind

kind：是一种使用Docker容器节点运行本地Kubernetes集群的工具。该类型主要用于测试Kubernetes，但可用于本地开发或CI。

注意：kind仍在开发中

部署

Mac & Linux

1
2
3

$ curl -Lo ./kind "https://kind.sigs.k8s.io/dl/v0.9.0/kind-$(uname)-amd64"
$ chmod +x ./kind
$ mv ./kind /some-dir-in-your-PATH/kind