logstash概述

什么是logstash
-是一个数据采集、加工处理以及传输的工具
特点
-所有类型的数据集中处理
-不同模式和格式数据的正常化
-自定义日志格式的迅速扩展
-为自定义数据源轻松添加插件
为什么使用logstash
将日志转化为json使elasticasearch可读

下载

#logstash的配置文件需要在执行文件目录中，但是redhat下载可能会分散文件，所以需要手动将连接放到目录下
ln -s /etc/logstash /usr/share/logstash/config

#查看插件
/usr/share/logstash/bin/logstash-plugin list

#开始
/usr/share/logstash/bin/logstash

配置模块

配置文件位于
/etc/logstash/conf.d/【自定义】.conf 文件名自定义
设置

input { 
	file {
		path => ["/tmp/c.log"]
		start_position => "beginning"
		sincedb_path => "/var/lib/logstash/sincedb" 
	}
}

filter{ 
  grok {
    match => { "message" => "%{HTTPD_COMBINEDLOG}" }
    remove_field => ["message"]
  }
}

output{ 
  stdout{ codec => "rubydebug" }
  elasticsearch {
    hosts => ["es-0002:9200","es-0003:9200"]
    index => "weblog-%{+YYYY.MM.dd}"
  }
}

input

• file插件start_position这个参数指示Logstash从日志文件的开头开始读取数据。如果设置为 "beginning"，无论Logstash之前是否处理过该文件，它都会从文件的第一行开始重新读取。
• file插件sincedb是Logstash用来记录每个被监控日志文件的读取位置（即最后一次读到哪一行），如果你希望Logstash每次启动都从日志文件的开头读取，可以把这个路径设为 /dev/null，这样Logstash就会忽略之前保存的读取位置信息。
  filter
• grok插件的宏定义，可以正则匹配http的日志格式，还有其他宏文件位于/usr/share/logstash/vendor/bundle/jruby/2.5.0/gems/logstash-patterns-core-4.3.4/patterns/
• elasticsearch插件，hosts => 指定监听的elasticasearch服务器， index =>以天为单位生成索引

结果

附注
遇到一次目录文件无法被写入的情况，发现问题在于logstash目录权限，如果不属于logstash需要手动改变目录权限

chown -R logstash: /var/log/logstash /var/lib/logstash

systemctl restart logstash.service

web日志实时分析

我们需要将网站服务器的日志实时的被logstash读取
为什么是filebeat?
如果使用nfs共享日志目录到logstash，对nfsIO消耗巨大
如果直接将logstash装到网站服务器，将消耗网站服务器资源
所以使用网站服务器上安装filebeat的方法传送日志内容

什么是filebeat?
-filebeat 是使用 Golang 实现的轻量型日志采集器,也是
Elasticsearch stack 里面的一员。
-filebeat 占用资源非常小,可以忽略不计
-filebeat 本质上是一个agent,可以安装在应用服务器各
个节点上,根据配置读取对应位置的日志文件,并通过网络
上报到相应的服务中

beats 插件概述
-beats 是 logstash input 模块的插件
-配合filebeat，专门用来接收 filebeat 发送过来的日志
-默认监听在 5044 端口上
-可以同时接收多台不同主机发送过来的日志信息

配置filebeat

dnf install -y filebeat

systemctl enable filebeat

vim /etc/filebeat/filebeat.yml

 filebeat.inputs:
 - type: filestream
   id: my-filestream-id # 如果同时配置多个收集器，id不能重复
   enabled: true # 打开收集模块
   paths:
     - /var/log/httpd/access_log # 日志文件路径
...略
# 注释掉 Elasticsearch 配置
# 注释掉 Elasticsearch 配置
...略
output.logstash: # 设置输出模块
   hosts: ["192.168.1.27:5044"] # 输出给logstash
...略
# 设置识别标签
  fields:
    logtype: apache_log
...略
# 清理冗余数据
: processors:
   - drop_fields:
       fields: 
         - log
         - offset
         - agent
         - ecs
# 后面内容是发送本机信息的，如不需要可注释掉

rm -f /var/log/httpd/*

systemctl restart filebeat httpd

# 测试验证: 访问页面，观察 logstash 是否能够获取数据
curl http://192.168.1.11/info.php

在logstash上配置

刚才的配置文件只需要改变input即可

input { 
  beats {
    port => 5044
  }
}

/usr/share/logstash/bin/logstash #开始调试