1.什么是Logstash?

  • Logstash是一个开源的数据收集引擎,它具有实时数据传输能力。它可以统一过滤来自不同源的数据,并按照开发者制定的规范输出到目的地,支持正则表达式
  • 由于日志文件来源多(如:系统日志、服务器日志、tomcat日志、nginx日志等),且内容杂乱,不便于人类进行观察。因此我们可以使用Logstash对日志文件进行收集和统一过滤,变成可读性高的内容

2.下载Logstash和安装部署

访问Logstash下载地址 进行下载本文章采用(7.12.1)版本进行演示
注意:Logstash需要使用Java环境 请提前配置好java环境


java -version #查看java版本
tar -zxvf logstash-7.12.1.tar.gz #将下载好的压缩包进行解压

3.运行Logstash

3.1 简单案例

cd /elk/logstash-7.12.1
bin/logstash -e 'input {stdin{}} output {stdout{}}' # 简单案例 大致如下:图Logstash.3-1

图:Logstash.3-1

3.2 使用配置文件进行启动

 cd config/
 cp logstash-sample.conf logstash.conf
 vim logstash.conf
######################################
在配置文件中添加以下配置
input {
     file {
         path=> "/var/log/messages"
         type=> "system"
         start_position=> "beginning"
    }
}

filter{

}

output{
        #Standard output 
        stdout{}
}
bin/logstash -f config/logstash.conf
#该日志为liunx系统操作日志详情可见图:Logstash.3-2
图:Logstash.3-2

在这里插入图片描述

3.3 Logstash的input和filter 插件

插件详情地址:https://www.elastic.co/guide/en/logstash/7.12/index.html

  • inputs输入
  • codecs解码
  • filters 过滤
  • outputs 输出

在这里插入图片描述

查看插件

bin/logstash-plugin list

3.4数据处理流程

input->解码->filter->编码->output

4.Logstash的数据使用Kibana进行展示

4.1 Liunx相关操作

#新建一个logstash-elk.conf
input{
    file{
        path => "/var/log/messages"
        type => "system"
        start_position => "beginning"
    }
}
filter {

}
output {
    elasticsearch {
        hosts => ["127.0.0.1:9200"]
        index => "msg-%{+YYYY.MM.dd}"
    }
}
#使用该命令进行后台运行
nohup  /elk/logstash-7.12.1/bin/logstash -f /elk/logstash-7.12.1/config/logstash-elk.conf >> /elk/log/output.log 2>&1&

4.2 Kibana界面相关操作

展开列表-> Management->Stack Management
Data->Index Management


(https://zhangsan.plus/upload/2021/05/image-860ec4aecd9248528d684d3e322df42f.png)]

Next step->Time field(@timestamp)->Create index pattern 即可
image.png
在同一界面配置
Kibana->Index Patterns->Create index pattern

4.3 查看Logs

Home->Observability->Logs
Settings->Indices->Log indices (将其中default的内容改为msg-*)->Apply
在这里插入图片描述

4.4 查看日志视图信息

Home->Analytics->Discover

在这里插入图片描述

5.Logstash常见的报错信息

5.1[2021-05-10T13:42:21,424][ERROR][logstash.agent ] Failed to execute action

image.png

问题:

  • 可能是conf内容书写有误
  • 编码格式不是UTF-8

解决方案:请使用VSCODE 进行编辑 删除不必要的空格和换行符然后在Win下保存成UTF-8的形式 重新上传到Liunx上进行运行

5.2 A plugin had an unrecoverable error. Will restart this plugin.

问题:插件有不可修复的错误,请重新启动该插件

解决方案:将该logstash进程杀死重新运行即可

ps aux|grep logstash

kill -9/kill 进程ID

6.使用logstash收集Nginx日志展示

Liunx安装教程:https://www.runoob.com/linux/nginx-install-setup.html

6.1 nginx安装

tar zxvf nginx-1.18.0.tar.gz

./configure --prefix=/usr/local/nginx --withpcre=/usr/local/pcre-8.38 --withzlib=/usr/local/zlib-1.2.11

make

make install
  • 启动Nginx
sbin/nginx -c conf/nginx.conf

6.2 Logstash启动和配置

编写logstash-nginx.conf

input {
    file{
        path => "/usr.local/nginx/logs/access.log"
        type => "nginxaccess"
        start_position => "beginning"
    }
}
filter {
    grok {
        match => {"message"=> "%{HTTPD_COMBINEDLOG}"}
    }
}
output{
    stdout{
        
    }
}

#后台启动Logstash
nohup /elk/logstash-7.12.1/bin/logstash -f /elk/logstash-7.12.1/config/logstash-nginx.conf >> /elk/log/output.log 2>&1 &

6.3 Kibana上查看Logstash获取到的日志信息

配置与前面4.2和 4.3 相同

6.4 使用timestamp时间格式处理

注意@timestamp
字段在Elasticsearch内部,对时间类型字段,统一采用UTC时间,存成long长整型。

编写logstash-nginx-time.conf 配置文件

input{
    file{
        path=>"/usr/local/nginx/logs/access.log"
        type=>"nginxaccess"
        start_position=>"beginning"
    }
}
filter{
    grok{
        match=>{"message"=>"%{HTTPD_COMBINEDLOG}"}
    }
    date{
        match=>["timestamp","dd/MMM/yyyy:HH:mm:ss Z"]
        target =>"@timestamp"
    }
}
output{
    elasticsearch{
        hosts=>["127.0.0.1:9200"]
        index=>"nginx-time-%{+YYYY.MM.dd}"
    }
}

在这里插入图片描述

7.fileBeat+Logstash进行日志采集

7.1 FileBeat简介和安装

  • 以轻量化方式收集、解析和数据传输
  • Beats平台集合了多种单一用途数据采集器
  • 它们从成百上千或千上万台机器和系统向Logstash或ElasticSearch发送数据
tar zxvf filebeat-7.12.1-linux-x86_64.tar.gz

FileBeat配置文件官方地址

7.2 使用FileBeat采集Nginx日志数据(CONSLE)

编写filebeat-nginx-consle.yml

filebeat.inputs:
- type: log
  enabled: true
  backoff: "1s"
  tail_files: false
  paths:
    - /usr/local/nginx/logs/access.log
output.console:
 enabled: true
#启动
./filebeat -e -c filebeat-nginx-consle.yml.yml 

7.3 使用FileBeat采集Nginx日志数据(ElasticSearch)

filebeat.inputs:
- type: log
  enabled: true
  backoff: "1s"
  tail_files: false
  paths:
    - /usr/local/nginx/logs/access.log
output.elasticsearch:
 hosts: ["localhost:9200"]
#启动
./filebeat -e -c filebeat-es-consle.yml 

Q.E.D.