ELK基础配置

二进制安装ELK

elsticsearch安装

1.下载解压
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.6.0-linux-x86_64.tar.gz
tar zxvf elasticsearch-7.6.0-linux-x86_64.tar.gz

2.添加jdk
# elasticsearch中含有jdk，只需将其加入环境变量即可
vim /etc/profile
export JAVA_HOME=/data/elasticsearch/jdk
# 创建普通用户
useradd es
vim /home/es/.bash_profile
export PATH=$JAVA_HOME/bin:$PATH
source /etc/profile
source /home/es/.bash_profile

3.设置系统参数
vim /etc/sysctl.conf
vm.max_map_count=262144
sysctl -p
# 设置可打开的文件描述符的最大数
vim /etc/security/limits.conf
*       soft    nofile          65536
*       hard    nofile          65536

ulimit -Hn
ulimit -Sn

4.修改es配置文件
vim config\elasticsearch.yml
cluster.name
node.name
path.data
path.logs
network.host
http.port
cluster.initial_master_nodes
# 设置jvm内存大小
vim config\jvm.options
-Xms1g
-Xmx1g

5.修改相关目录权限
chown -R es:es elasticsearch  # es文件目录
chown -R es:es es    # es日志和数据目录

6.添加启动脚本
vim startup.sh
#!/bin/bash
nohup /data/elasticsearch/bin/elasticsearch &
# 关闭elasticsearch
jps
kill -9 进程号

kibana安装

1.下载解压
wget https://artifacts.elastic.co/downloads/kibana/kibana-7.6.0-linux-x86_64.tar.gz
tar zxvf kibana-7.6.0-linux-x86_64.tar.gz

2.配置文件
vim config\bibana.yml
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://localhost:9200"]
elasticsearch.username: "kibana"
elasticsearch.password: "123456"

3.添加启动脚本
vim startup.sh
#!/bin/bash
nohup /data/kibana/bin/kibana --allow-root &

logstash安装

# Logstash是一个开源的数据收集引擎，它具有备实时数据传输能力。
# 它可以统一过滤来自不同源的数据，并按照开发者制定的规范输出到目的地，支持正则表达式。

1.下载解压
wget https://artifacts.elastic.co/downloads/logstash/logstash-7.6.0.tar.gz
tar logstash-7.6.0.tar.gz

2.修改配置文件
vim config/jvm.options
-Xms128m
-Xmx128m
# 加载的配置文件

3.编写收集配置文件
vim logstash1.conf
input {
    # 从文件读取日志信息
    file {
        path => "/var/log/messages"
        type => "system"
        start_position => "beginning"
    }
}

filter {
}

output {
    # 标准输出，输出到控制台
    stdout {}
    # 输出到es
    #elasticsearch {
    #hosts => ["127.0.0.1:9200"]
    #index => "msg-%{+YYYY.MM.dd}"
    #}
}

4.启动
# 配置启动脚本
vim startup.sh
#!/bin/bash
nohup /data/logstash/bin/logstash -f /data/logstash/config/logstash2.conf &

# 数据处理流程:
input->解码->filter->编码->output

# 安装插件
./logstash-plugin install xxxx
./logstash-plugin list # 查看已安装的插件
# 安装beat日志input输入
./logstash-plugin install logstash-input-beats

filebeat安装

1.下载
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.6.0-linux-x86_64.tar.gz

2.配置文件
vim filebeat1.yml
filebeat.inputs:
- type: log
  enabled: true
  backoff: "1s"
  tail_files: false
  paths:
    - /var/log/nginx/access.log

#output.elasticsearch:
#  hosts: ["localhost:9200"]
  
output.console:
  enabled: true
  
3.启动
./filebeat -e -c filebeat1.yml

收集多个日志

filebeat.inputs:
- type: log
  enabled: true
  backoff: "1s"
  tail_files: false
  paths:
    - /var/log/nginx/access.log
  fields:
    filetype: nginx
  fields_under_root: true

- type: log
  enabled: true
  backoff: "1s"
  tail_files: false
  paths:
    - /var/log/messages
  fields:
    filetype: linux
  fields_under_root: true  #自定义字段将为文档中的顶级字段

output.logstash:
  enabled: true
  hosts: ["x.x.x.x:5044"]