上一篇：ELK 架构之 Elasticsearch 和 Kibana 安装配置
阅读目录：
- 1. 环境准备
- 2. 安装 Logstash
- 3. 配置 Logstash
- 4. Logstash 采集的日志数据，在 Kibana 中显示
- 5. 安装配置 Filebeat
- 6. Filebeat 采集的日志数据，在 Kibana 中显示
- 7. Filebeat 采集日志数据，Logstash 过滤
- *8. Filebeat 采集的日志数据，Logstash 过滤后，在 Kibana 中显示
上一篇主要说的是 Elasticsearch 和 Kibana 安装配置，以及服务追踪数据的处理和展示，日志数据采集使用的 Spring Cloud Sleuth Zipkin + Stream/RabbitMQ 中间件（Service 端配置），然后 Zipkin Server 从队列中获取日志数据，再使用 HTTP 的请求的方式，传输并存储到 Elasticsearch 中，最后 Kibana 进行日志数据展示。
在 ELK Stack 中，日志数据采集有单独的工具，就是 Logstash 和 Beats。
- Logstash 主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。一般工作方式为 c/s 架构，client 端安装在需要收集日志的主机上，server 端负责将收到的各节点日志进行过滤、修改等操作在一并发往 Elasticsearch 上去。
- Beats 在这里是一个轻量级日志采集器，其实 Beats 家族有 6 个成员，早期的 ELK 架构中使用 Logstash 收集、解析日志，但是 Logstash 对内存、cpu、io 等资源消耗比较高。相比 Logstash，Beats 所占系统的 CPU 和内存几乎可以忽略不计。
目前 Beats 包含六种工具：
- Packetbeat： 网络数据（收集网络流量数据）
- Metricbeat： 指标（收集系统、进程和文件系统级别的 CPU 和内存使用情况等数据）
- Filebeat： 日志文件（收集文件数据）
- Winlogbeat： windows 事件日志（收集 Windows 事件日志数据）
- Auditbeat：审计数据（收集审计日志）
- Heartbeat：运行时间监控（收集系统运行时的数据）
本篇文章目的：
- 1. Logstash 日志数据采集，Elasticsearch 存储，Kibana 展示
- 2. Filebeat 日志数据采集，Elasticsearch 存储，Kibana 展示
- *3. Filebeat 日志数据采集，Logstash 过滤，Elasticsearch 存储，Kibana 展示
第三种方案的实现架构图：
1. 环境准备
服务器环境：Centos 7.0（单机版）
Elasticsearch 和 Logstash 需要 Java，Elasticsearch 推荐的版本为 Java 8，安装教程：确定稳定的 Spring Cloud 相关环境版本
另外，我们需要修改下服务器主机信息：
[root@node1 ~]# vi /etc/hostname
node1
[root@node1 ~]# vi /etc/hosts
192.168.0.11 node1
127.0.0.1 node1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 node1 localhost localhost.localdomain localhost6 localhost6.localdomain6
2. 安装 Logstash
运行以下命令将 Elasticsearch 公共 GPG 密钥导入 rpm：
[root@node1 ~]# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
在 /etc/yum.repos.d/目录中，创建一个名为 logstash.repo的文件，添加下面配置：
[logstash-5.x]
name=Logstash repository for 5.x packages
baseurl=https://artifacts.elastic.co/packages/5.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
然后安装 Logstash：
`bash
[root@node1 ~]# yum makecache && yum install logstash -y
已加载插件：fastestmirror
base | 3.6 kB 00:00:00
elasticsearch-5.x | 1.3 kB 00:00:00
extras | 3.4 kB 00:00:00
kibana-5.x | 1.3 kB 00:00:00
logstash-5.x | 1.3 kB 00:00:00
rabbitmq-erlang | 1.3 kB 00:00:00
updates | 3.4 kB 00:00:00
Loading mirror speeds from cached hostfile
* base: mirrors.163.com
* extras: mirrors.163.com
* updates: mirrors.163.com
元数据缓存已建立
已加载插件：fastestmirror
Loading mirror speeds from cached hostfile
* base: mirrors.163.com
* extras: mirrors.163.com
* updates: mirrors.163.com
正在解决依赖关系
–> 正在检查事务
Original: https://www.cnblogs.com/xishuai/p/elk-logstash-filebeat.html
Author: 田园里的蟋蟀
Title: ELK 架构之 Logstash 和 Filebeat 安装配置
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/554104/
转载文章受原作者版权保护。转载请注明原作者出处！