记录开发的点滴

在 Python 中，实例方法（instance method），类方法（class method）与静态方法（static method）经常容易混淆。本文通过代码例子来说明它们的区别。

实例方法

Python 的实例方法用得最多，也最常见。我们先来看 Python 的实例方法。

1
2
3
4
5
6
7
8
9
10
11
12
13

class Kls(object):
    def __init__(self, data):
        self.data = data
    def printd(self):
        print(self.data)
ik1 = Kls('leo')
ik2 = Kls('lee')
ik1.printd()
ik2.printd()

输出：

leo
lee

上述例子中，printd为一个实例方法。实例方法第一个参数为self，当使用ik1.printd()调用实例方法时，实例ik1会传递给self参数，这样self参数就可以引用当前正在调用实例方法的实例。利用实例方法的这个特性，上述代码正确输出了两个实例的成员数据。

原来的个人网站 leehao.me 使用了阿里云的负载均衡服务，因此 HTTPS 证书也是部署在负载均衡服务器上。文章《在阿里云部署 Hexo 网站》介绍了采用负载均衡方式来部署网站的方法。
考虑到网站访问流量不高且为了减少费用，决定不再使用负载均衡服务，而是直接采用单个 ECS 服务器的方式来部署网站。采用新的方式部署网站后，为了同样让网站支持 https，需要重新对 https 证书进行配置。

购买免费的阿里云证书

阿里云提供免费的证书服务，购买路径为，首页- 产品 - 安全 - CA 证书服务，选择免费型 DV SSL 证书类型，如下图所示：

图：在阿里云购买免费的证书服务

Python 装饰器是 Python 中常常使用到的一种语法糖，它可以大幅度减少重复代码，使用起来十分方便。另一方面，装饰器的定义往往会导致出现函数重重嵌套的情况，这会给装饰器的实现者带来阅读代码的困难。

本文剖析 Python 装饰器的定义与用法。

不带参数的装饰器

我们先来看一下不带参数的装饰器的实现，这种情况比较简单。以下是一个不带参数的装饰器的使用例子：

1
2
3

@decorator
def fun():
    print('fun() is called')

前面提到，装饰器只是 Python 提供的语法糖，使用@decorator作为装饰器相当于：

1
2
3

def fun():
    print('fun() is called')
fun = decorator(fun)

我们再来看一下装饰器decorator本身的定义。装饰器可以使用函数实现，也可以使用类来实现，这里我们介绍函数的实现方式。

这篇文章介绍 Python 的名称空间以及变量的作用域。

Python 的名称

Python 的名称（Name）是对象的一个标识（Identifier）。我们知道，在 Python 里面一切皆对象，名称就是用来引用对象的。说得有点玄乎，我们以例子说明。

例如，在a = 2这个语句中，2是个存储在内存中的一个对象，名称a则会引用2这个对象，“引用”的含义是指可以通过名称a来使用2这个对象。我们可以使用id()函数来获取对象的地址。

1
2
3

a = 2
print(id(2))
print(id(a))

输出：

43547988
43547988

可以看到，两都均指向同一个对象。我们再来看复杂一点的代码。

1
2
3
4
5
6
7
8

a = 2
print 'id(a) = %s' % id(a)
a = a + 1
print 'id(a) = %s' % id(a)
print 'id(3) = %s' % id(3)
b = 2
print 'id(2) = %s' % id(2)
print 'id(b) = %s' % id(b)

输出：

id(a) = 55606612
id(a) = 55606600
id(3) = 55606600
id(2) = 55606612
id(b) = 55606612

上述的代码发生了什么呢？我们以图1来说明。

图1：Python 的名称与对象

最近生产上上线了一个新的功能，在业务人员使用过程中，通过查看日志我们发现一个诡异的问题。这篇文章记录一下这个问题的排查过程以及解决方法。

存在问题的程序使用了 C 语言的 Redis 客户端 hiredis 来连接和操作 Redis。由于处于分布式的环境，所以我们使用了 Redis 的事务的特性，以避免多个客户端同时对 Redis 数据进行更改导致数据错乱的情况出现。有关 hiredis 的使用以及 Redis 事务特殊的介绍，可以参考文章《Redis C 语言客户端 hiredis 的使用》，以及《Hiredis 实现 Redis 流水线》。

程序原始代码如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39

void GFRedisClient::QueryRowsByFields(const char *key,
                                      map<string, string> &mapField2Value,
                                      vector<map<string, string> > &outRecords)
{
    if (!key || strlen(key) <= 0) {
        KSBLog(WARN, "传入的服务代码为空");
        return;
    }
    // 获取Redis连接
    redisContext *ctx = CreateContext();
    if (ctx == NULL) {
        KSBLog(WARN, "查询二维表出错，无法获取Redis连接，服务：%s", key);
        return;
    }
    // 监控二维表数据
    SendWatch(ctx, key);
    // 取出指定记录
    vector<string> vecRecordRowIds;
    GetSpecRecords(ctx, key, mapField2Value, vecRecordRowIds);
    if (vecRecordRowIds.empty()) {
        KSBLog(INFO, "从Redis查找不到指定条件的记录，服务：%s", key);
        ReleaseContext(ctx);
        return;
    }
    // 以事务实现
    int pipelineCount = 0;
    SendMulti(ctx, pipelineCount);
    // 取出字段名称
    SendQueryFields(ctx, key, pipelineCount);
    // 取出指定记录
    SendQuerySpecRecords(ctx, key, vecRecordRowIds, pipelineCount);
    // 执行事务
    SendExec(ctx, pipelineCount);
    // 处理返回结果
    ProposeQueryRows(ctx, key, pipelineCount, outRecords);
    // 归还连接
    KSBLog(INFO, "查询二维表归还Redis连接，服务：%s", key);
    ReleaseContext(ctx);
}

文章《搭建 Elastic Stack 日志系统》 描述了如何利用 Kibana，Elasticsearch，Filebeat 来搭建日志系统。本文在上一篇 Elastic Stack 文章的基础上，说明如何将 Nginx 的日志接入 Elastic Stack 日志系统。

为了更新在 Kibana 上展示 Nginx 的日志，可以先将 Nginx 的日志改成 json 格式，如何更改 Nginx 的日志格式，可以参考文章 《Nginx 日志改成 JSON 格式》。

假设我们的 Nginx 访问日志路径为 /usr/local/nginx/logs/access.log ，错误日志路径为 /usr/local/nginx/logs/error.log，那么我们的 Filebeat 配置可以这样写：

1
2
3
4
5
6
7
8
9
10
11

filebeat.prospectors:
- input_type: log 
  paths:
    - /usr/local/nginx/logs/access.log
  json.keys_under_root: true
  json.message_key:
- input_type: log
  paths:
    - /usr/local/nginx/logs/error.log

Nginx 日志默认为普通文本的格式，例如，下面是 Nginx 的一行访问日志：

1

10.88.122.105 - - [02/Dec/2017:09:15:04 +0800] "GET /js/pagination.js HTTP/1.1" 304 0 "http://10.88.105.20:8063/stockrecommand.html" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)" "-" 0.000

为了便于利用 Elastic Stack 日志平台收集展示 Nginx 的日志，可以将 Nginx 的日志改成 json 的格式。修改后的 json 日志格式如下所示：

1

{ "@timestamp": "12/Dec/2017:14:30:40 +0800", "remote_addr": "10.88.122.108", "referer": "-", "request": "GET / HTTP/1.1", "status": 304, "bytes":0, "agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36", "x_forwarded": "-", "up_addr": "-","up_host": "-","up_resp_time": "-","request_time": "0.000" }

为了修改 Nginx 的日志格式改成 json，需要修改 Nginx 的配置文件，笔者 Nginx 的配置文件为 /usr/local/nginx/conf/nginx.conf。

Node.js 是一个开源的项目，可以让 JavaScript 的代码在浏览器之外运行。
我们知道，JavaScript 代码可以在浏览器中运行，它可以访问 window 和 document 这样的全局对象以及其他 API 和库函数。
为了支持 JavaScrip 在浏览器以外的环境运行，谷歌工程师 Ryan Dahl 基于 Chrome V8 JavaScript 引擎开发了 Node.js。Node.js 是一个 JavaScript 运行环境，在这个环境下，JavaScript 代码能够访问硬盘驱动器，数据库，网络等。使用 Node.js 可以创建各种应用，下至命令行工具，上至 Web 服务器。
图 1 展示了浏览器环境的 JavaScript 代码的运行环境；图 2 展示了 Node.js 环境的 JavaScript 代码的运行环境。

图1：在浏览器运行的 JavaScript 代码

图2：在 Node.js 运行的 JavaScript 代码

DES 为 Data Encryption Standard （数据加密标准）的缩写，是一种常见的对称加密算法。有关对称加密与非对称加密的特点及其应用场景，本文就不描述了，读者可以自行 google 。本文说明如何使用 Java 和 Python 两种语言来实现 DES 的加解密。

最近碰到的应用场景是这样的。我们需要对接一个系统 S，系统 S 已经对用户的身份进行了验证，新系统 N 也需要对用户的身份进行验证。采用的身份验证方法是由旧系统 S 对用户 ID 进行加密，然后新系统 N 对加密后的用户 ID 进行解密，从而获取用户 ID 并进行身份验证。
由于旧系统 S 是用 Java 实现的，新系统 N 使用 Python 实现。也就是说，需要使用 Python 语言来对 Java DES 加密的用户 ID 进行解密。

这里贴出 Java 实现的 DES 加密的代码。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65

import javax.crypto.spec.IvParameterSpec;
import javax.crypto.Cipher;
import javax.crypto.SecretKey;
import javax.crypto.SecretKeyFactory;
import javax.crypto.spec.DESKeySpec;
public class Main {
    public static void main(String[] args) {
        String content = "zx";
        String key = "20171117";
        System.out.println("加密前：" + content);
        byte[] encrypted = DES_CBC_Encrypt(content.getBytes(), key.getBytes());
        System.out.println("加密后：" + byteToHexString(encrypted));
        byte[] decrypted = DES_CBC_Decrypt(encrypted, key.getBytes());
        System.out.println("解密后：" + new String(decrypted));
    }
    public static byte[] DES_CBC_Encrypt(byte[] content, byte[] keyBytes) {
        try {
            DESKeySpec keySpec = new DESKeySpec(keyBytes);
            SecretKeyFactory keyFactory = SecretKeyFactory.getInstance("DES");
            SecretKey key = keyFactory.generateSecret(keySpec);
            Cipher cipher = Cipher.getInstance("DES/CBC/PKCS5Padding");
            cipher.init(Cipher.ENCRYPT_MODE, key, new IvParameterSpec(keySpec.getKey()));
            byte[] result = cipher.doFinal(content);
            return result;
        } catch (Exception e) {
            System.out.println("exception:" + e.toString());
        }
        return null;
    }
    private static byte[] DES_CBC_Decrypt(byte[] content, byte[] keyBytes) {
        try {
            DESKeySpec keySpec = new DESKeySpec(keyBytes);
            SecretKeyFactory keyFactory = SecretKeyFactory.getInstance("DES");
            SecretKey key = keyFactory.generateSecret(keySpec);
            Cipher cipher = Cipher.getInstance("DES/CBC/PKCS5Padding");
            cipher.init(Cipher.DECRYPT_MODE, key, new IvParameterSpec(keyBytes));
            byte[] result = cipher.doFinal(content);
            return result;
        } catch (Exception e) {
            System.out.println("exception:" + e.toString());
        }
        return null;
    }
    private static String byteToHexString(byte[] bytes) {
        StringBuffer sb = new StringBuffer(bytes.length);
        String sTemp;
        for (int i = 0; i < bytes.length; i++) {
            sTemp = Integer.toHexString(0xFF & bytes[i]);
            if (sTemp.length() < 2)
                sb.append(0);
            sb.append(sTemp.toUpperCase());
        }
        return sb.toString();
    }
}

Java 代码采用的 DES 加密采用 CBC 模式，采用 PKCS5Padding 的填充模式，使用的初始化向量是加密的密钥。

执行以上 Java 代码，输出：

Elastic Stack 是原 ELK Stack 在 5.0 版本加入 Beats 套件后的新称呼。Elastic Stack 在实时日志处理领域已开成开源界的第一选择。
本文讲述如何搭建 Elastic Stack 日志系统，使用的套件包括 Kibana，Elasticsearch，以及 Filebeat。搭建的环境选择阿里云 ECS 服务器，系统为 CentOS 7.4 64 位。

搭建 Kibana

Kibana 用来实现数据的可视化。Kibana 能够以图表的形式呈现数据，并且具有可扩展的用户界面，可以供我们全方位配置和管理 Elatic Stack。

搭建 Kibana 的步骤如下。

（1）添加 yum 源
在 /etc/yum.repos.d 目录创建 kibana.repo 文件，内容如下：

1
2
3
4
5
6
7
8

[kibana-5.x]
name=Kibana repository for 5.x packages
baseurl=https://artifacts.elastic.co/packages/5.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

（2）安装 Kibana
运行安装命令：

yum install kibana

Kibana 安装后的主目录为 /usr/share/kibana，日志目录为 /var/log/kibana/ 。

（3）查看系统的初始化进程

查找进程 ID 为 1 的进程：

ps -p 1

输出：

1
2

PID TTY          TIME CMD
  1 ?        00:00:00 systemd

可以看到我们的系统使用 systemd 作为初始化进程。