Nginx 日志接入 Elastic Stack 系统

发表于 2017-12-13 更新于 2023-05-05 分类于工具阅读次数：

文章《搭建 Elastic Stack 日志系统》描述了如何利用 Kibana，Elasticsearch，Filebeat 来搭建日志系统。本文在上一篇 Elastic Stack 文章的基础上，说明如何将 Nginx 的日志接入 Elastic Stack 日志系统。

为了更新在 Kibana 上展示 Nginx 的日志，可以先将 Nginx 的日志改成 json 格式，如何更改 Nginx 的日志格式，可以参考文章《Nginx 日志改成 JSON 格式》。

假设我们的 Nginx 访问日志路径为 /usr/local/nginx/logs/access.log ，错误日志路径为 /usr/local/nginx/logs/error.log，那么我们的 Filebeat 配置可以这样写：

filebeat.prospectors:

- input_type: log 
  paths:
    - /usr/local/nginx/logs/access.log
  json.keys_under_root: true
  json.message_key:

- input_type: log
  paths:
    - /usr/local/nginx/logs/error.log

由于我们只对 Nginx 的访问日志以 json 的格式打印，错误日志并没有以 json 格式打印，因此我们使用了两个 input_type 的配置项。

Filebeat 提供对 json 格式日志的处理功能。我们设置json.keys_under_root以打开 Filebeat 解析 json 日志功能。有关 json 日志解析的配置，可以参考官网的介绍，此处不再贅述，参考链接：https://www.elastic.co/guide/en/beats/filebeat/current/configuration-filebeat-options.html#config-json。

配置完 Filebeat 的输入后，我们接下来配置 Filebeat 的输出。

1
2
3

output.elasticsearch:
  hosts: ["10.88.102.179:9200"]
  index: "nginx-%{+yyyy.MM.dd}"

由于使用 Elasticsearch 来接收日志，所以需要配置 Elasticsearch 的地址 hosts。在 Kibana 中可能需要展示多个 index 的日志，为了区分，需要配置 index 的值，这里我们使用 nginx-%{+yyyy.MM.dd}，在 Kibana 中显示的 index 实际为 nginx-2017.12.12 这种形式。读者可以根据需要自行配置 index。

Filebeat 配置好后，重启 Filebeat 进程以让配置生效。最后我们转到 Kibana 配置新的 index。
打开 Kibana 页面，进入 Management - Index Patterns - Create Index Pattern，以创建一个新的 index。在 Index pattern 输入框输入 nginx-*，创建上面我们的 Nginx 日志索引。
创建好 index 后，在 Discover 中选择 nginx-* 索引，便可以看到 Nginx 的日志。

参考资料