记录开发的点滴

最近搭建 kafka 集群环境以便于收集应用程序日志并进行个性化的处理，因此学习了 kafka 生产者和消费者 python 程序的实现。这篇文章当是 kafka 的学习笔记。

一、搭建 kafka 集群

为方便测试，我们在 MacOS 单机上搭建具有三个 kafka 节点的集群。如果在生产上部署 kafka ，请在不同的物理机上部署 kafka 集群。

1. 下载 kafka 镜像

我们使用 wurstmeister/kafka 镜像来部署 kafka，由于 kafka 依赖于 zookeeper ，因此，我们需要下载 zookeeper 和 kafka 两个镜像。

1
2

docker pull wurstmeister/kafka
docker pull wurstmeister/zookeeper

2. 编写 docker-compopse.yml

我们搭建的 kafka 集群包括一个 zooker 节点和三个 kakfa 节点。

使用 ifconfig 命令获取本机的 ip 为 192.168.0.104，完整的 docker-compose.yml 文件如下。有关 docker-compose 的使用，可以参考 《Docker Compose 入门教程》。

虽然 prometheus 已有大量可直接使用的 exporter 可供使用，以满足收集不同的监控指标的需要。例如，node exporter 可以收集机器 cpu，内存等指标，cadvisor 可以收集容器指标。然而，如果需要收集一些定制化的指标，还是需要我们编写自定义的指标。

本文讲述如何使用 prometheus python 客户端库和 flask 编写 prometheus 自定义指标。

安装依赖库

我们的程序依赖于 flask 和 prometheus client 两个库，其 requirements.txt 内容如下：

1
2

flask==1.1.2
prometheus-client==0.8.0

运行 flask

我们先使用 flask web 框架将 /metrics 接口运行起来，再往里面添加指标的实现逻辑。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

#!/usr/bin/env python
# -*- coding:utf-8 -*-
from flask import Flask
app = Flask(__name__)
@app.route('/metrics')
def hello():
    return 'metrics'
if __name__ == '__main__':
    app.run(host='0.0.0.0', port=5000)

打开浏览器，输入 http://127.0.0.1:5000/metrics，按下回车后浏览器显示 metrics 字符。

最近在公司搭建 prometheus 监控平台。文章 《Prometheus 使用阿里云邮件推送发送告警邮件》 已说明如何实现 prometheus 发送邮件告警的功能，这篇文章说明如何实现发送企业微信告警的功能。

申请企业微信账号

为实现发送企业微信告警消息，需要一个企业微信账号，在页面 企业微信 可以免费申请一个测试账号。

进入应用管理 - 创建应用，创建一个用于接收告警消息的账号。创建成功后，可以看到该应用的 AgentId 和 Secret 串，如图所示：

配置 alertmanager

Alertmanager 用于接收 prometheus 的告警消息并将告警消息发送到指定的用户。为实现使用企业微信发送告警消息，需要在 alertmanager 增加企业微信的有关配置。

alertmanager.yml 增加企业微信的配置：

C++ 中，对于一个对象或一个表达式，如果可以对其使用调用运算符（()），则称它是可调用的。即，如果 e 是可调用的，则可以这样使用：

1

e(args)

其中，args 是一个逗号分隔的一个或多个参数的列表。

C++ 中可调用对象除了我们熟悉的函数或函数指针外，还包括函数对象以及 lambda 表达式。

本文重点讲述 lambda 表达式。

lambda 表达式表示一个可调用的代码单元，我们可以将其理解为一个未命名的内联函数。一个 lambda 表达式具有如下形式：

1

[capture list](parameter list) -> return type {function body}

• capture list：捕获列表，lambda 表达式所在函数中定义的局部变量列表
• parameter list：参数列表
• return type：返回类型
• function body：函数体

lambda 表达式可以忽略参数列表和返回类型，但必须包含捕获列表和函数体：

函数对象本质上是一个类对象，它重载了函数调用运算符 operator()。调用运算符的函数体实现函数的功能。

例如，我们定义类 LessThan：

1
2
3
4
5
6

class LessThan {
public:
    bool operator() (const string &s1, const string &s2) {
        return s1.size() < s2.size();
    }
};

类 LessThan 包含调用运算符的重载，调用运算符的函数体实现了函数的功能：小于操作。
调用运算符的定义第一次看起来有点令人迷惑，因为出现了两个小括号。第一个小括号：

1

operator()

告诉编译器我们在重载调用运算符。第二个小括号：

1

(const string &s1, const string &s2)

指定传递给调用运算符重载函数的形式参数。

函数对象的定义与普通类对象一样：

我们在文章 《使用 docker-compose 搭建 prometheus 监控系统》 的基础上，增加 prometheus 的告警功能。

Prometheus 指标的收集存储与告警是分开的，告警功能由 alertmanager 提供。我们需要在 prometheus 定义告警规则，这些规则可以触发事件，然后传播到 alertmanager。接下来，alertmanager 会决定如何处理相应的警报，并确定使用电子邮件，短信等发出警报。Prometheus 和 alertmanager 的关系如下图所示。

为了在 prometheus 增加 alertmanager 的使用，我们在 docker-compose.yml 增加 alertmanager 容器：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54

version: '3'
services:
  centos1:
    image: centos
    container_name: centos1
    restart: always
    ports:
      - "9101:9100"
    volumes:
      - ~/code/docker/prometheus/node_exporter:/root
    command: /root/node_exporter
  centos2:
    image: centos
    container_name: centos2
    restart: always
    ports:
      - "9102:9100"
    volumes:
      - ~/code/docker/prometheus/node_exporter:/root
    command: /root/node_exporter
  prometheus:
    image: prom/prometheus
    container_name: prometheus
    restart: always
    ports:
      - "9090:9090"
    volumes:
      - ~/code/docker/prometheus/prometheus:/etc/prometheus
      - ~/code/docker/prometheus/prometheus_data:/prometheus
    command:
      - '--config.file=/etc/prometheus/prometheus.yml'
      - '--storage.tsdb.path=/prometheus'
  grafana:
    image: grafana/grafana
    container_name: grafana
    restart: always
    ports:
      - "3000:3000"
    volumes:
      - ~/code/docker/prometheus/grafana_data:/var/lib/grafana
  alertmanager:
    image: prom/alertmanager
    container_name: alertmanager
    restart: always
    ports:
      - "9093:9093"
    volumes:
      - ~/code/docker/prometheus/alertmanager/alertmanager.yml:/etc/alertmanager/alertmanager.yml
    command:
      - '--config.file=/etc/alertmanager/alertmanager.yml'

Prometheus 是当前一套非常流行的开源监控和报警系统，于 2016 年加入了 Clound Native Computing Foundation，是继 kubernates 之后的第二个托管项目。

本文讲述如何使用 docker 快速搭建 prometheus 监控系统。

概览

本文的实验环境为 Mac OS，监控系统主要是用来监控两台 CentOS 主机资源使用情况。搭建的监控系统包括以下软件：

• prometheus：负责收集和存储时间序列数据
• node-exporter：负责暴露主机 metrics 数据给 prometheus
• grafana：负责展示数据

它们的关系如下图所示：

node-exporter

为方便操作，我们先创建 prometheus 目录，用于存放此次实验的文件，例如，笔者创建的目录为 ~/code/docker/prometheus。

我们知道，gitlab 可以用来管理 git 提交的源代码，此外，gitlab 还集成了 docker registry 的功能，可以用来作为一个 docker 镜像私有仓库使用。

启用 gitlab registry 功能

我们假设已安装好 gitlab，具体安装可参考 《使用 docker 安装 gitlab》。

Gitlab 默认不打开 docker registry 的功能，需要修改配置打开。

修改配置 /etc/gitlab/gitlab.rb 文件，将 registry_external_url 的值修改为 http://127.0.0.1:4567：

1

registry_external_url 'http://127.0.0.1:4567'

registry_external_url 这个地址是我们使用 docker 命令进行 pull 或者 push 镜像的仓库地址。

重启 gitlab 后，可以在 gitlab 左侧面板看到 Container Registry 的菜单。

上传镜像

我们以一个常见的 flask 应用为例，说明如何向 gitlab registry 上传镜像。

Flask 应用源代码包括以下代码：

Gitlab 作为开源的 git 代码仓库，功能强大，使用起来非常方便。本文讲述如何使用 docker 来安装 gitlab。

本文假定已安装好 docker，可以输入 docker --version 来验证是否已正常安装，输出：

Docker version 19.03.5, build 633a0ea

使用 docker run 命令安装

为方便安装，我们先拉取最新版本的 gitlab 社区版本镜像：

1

docker pull gitlab/gitlab-ce:latest

然后，使用 docker run 运行 gitlab：

1
2
3
4
5
6
7
8
9

docker run --detach \
  --hostname 127.0.0.1 \
  --publish 443:443 --publish 80:80 --publish 22:22 \
  --name gitlab \
  --restart always \
  --volume /Users/lihao/code/docker/gitlab-ce/config:/etc/gitlab \
  --volume /Users/lihao/code/docker/gitlab-ce/logs:/var/log/gitlab \
  --volume /Users/lihao/code/docker/gitlab-ce/data:/var/opt/gitlab \
  gitlab/gitlab-ce:latest

docker run 命令使用了多个参数，这些参数的作用如下：

Docker compose （以下简称为 compose）可用于定义和运行多容器 docker 应用程序。
通过 compose，我们可以使用 YAML 文件来配置应用程序的服务（services），然后只需要通过一个命令，就可以将配置的所有服务启动起来。

使用 compose 只需要三步：

1. 使用 Dockerfile 定义应用的环境，以便于可以任何地方复制应用的环境
2. 使用 docker-compose.yml 定义构成应用的服务，以便于它们可以在隔离的环境中一起运行
3. 运行 docker-compose up 命令，这时 compose 会启动并运行整个应用程序

安装

对于 Mac 系统 和 Windows 系统，安装 docker 桌面端时， compose 已经捆绑安装了。对于 Linux 系统安装 compose 也不麻烦，可以参考官方安装文档 https://docs.docker.com/compose/install/。

可以通过以下命令来测试 compose 安装是否成功：

1

docker-compose --version

输出：

docker-compose version 1.24.1, build 4667896b

实践：以 Flask 应用为例

我们以一个 Flask 应用程序为例，说明如何使用 compose 来配置相关的服务。

步骤一：编写源代码

1. 创建源代码目录 composetest

1
2

mkdir composetest
cd composetest