ELK日志采集检索可视化

本文目录导读：

1. 核心组件与作用
2. 数据采集：Logstash & Filebeat
3. 数据存储与索引：Elasticsearch
4. 检索与可视化：Kibana
5. 完整部署示例（Docker Compose）
6. 关键优化与常见问题
7. 进阶实践与生态

ELK（Elasticsearch, Logstash, Kibana）是目前业界最主流的开源日志采集、检索与可视化方案，下面为你梳理从数据采集到可视化的完整流程、核心组件及关键配置。

核心组件与作用

典型简化架构：

数据源 (应用/服务器) -> Filebeat -> Logstash (可选，可跳过) -> Elasticsearch -> Kibana

数据采集：Logstash & Filebeat

轻量采集：Filebeat (推荐)

适用于服务器日志文件、容器日志、系统日志。

配置示例 (filebeat.yml)：

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/nginx/access.log
    - /var/log/*.log
output.elasticsearch:
  hosts: ["localhost:9200"]
  # 可选：配置索引模板
  index: "nginx-access-%{+yyyy.MM.dd}"

复杂处理：Logstash

适用于需要复杂过滤（正则、Grok解析）、转换、从数据库同步数据或需要缓冲的场景。

配置示例 (logstash.conf)：

input {
  beats {
    port => 5044  # 接收来自Filebeat的数据
  }
  # 或者直接读取文件： file { path => "/var/log/*.log" }
}
filter {
  # 使用grok解析Nginx日志格式
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
  # 将字符串日期转为日期类型
  date {
    match => ["timestamp", "dd/MMM/yyyy:HH:mm:ss Z"]
  }
}
output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "nginx-access-%{+yyyy.MM.dd}"
  }
}

数据存储与索引：Elasticsearch

• 索引：类似数据库中的表，日志数据按时间或业务创建索引（如 myapp-2025.01.01）。
• 分片与副本：分片实现分布式存储，副本提供高可用和查询吞吐量。
• 映射：定义字段类型（text, keyword, date, integer等），影响分词和聚合。
• 关键配置：
  • 设置合适的分片数（es7+默认1）。
  • 使用ILM（索引生命周期管理）自动管理热温冷节点、过期删除。
  • 配置模板确保新索引自动使用正确映射。

检索与可视化：Kibana

检索功能

• Lucene Query / KQL (Kibana Query Language)：在Discover页面输入 status: 500 AND response_time > 1000 快速过滤。
• 字段过滤：左侧点击字段名即可筛选。
• 搜索语法：
  • 精确匹配："Internal Server Error"
  • 通配符：/api/v1/*
  • 范围：response_time > 500
  • 布尔：AND, OR, NOT

可视化（Visualize & Dashboard）

• 基础图表：柱状图、折线图（时间序列）、饼图、数据表。
• 地图：GeoIP坐标地理位置可视化。
• 自定义：Markdown、Vega（高级自定义图表）。
• TSVB：针对时间序列的强大多重指标可视化工具。

常见可视化场景：

• 错误监控：折线图显示错误请求数量随时间变化。
• 访问来源：饼图或地图显示请求来源国家/地区。
• 性能分析：直方图展示平均响应时间分布；热力图展示请求量随时间/用户纬度的变化。
• 用户行为：漏斗图展示转换率（如注册->登录->下单）。

告警（Alerting）与机器学习

• 规则引擎：设置条件（如5分钟内错误数>10），触发邮件、Slack、Webhook、PagerDuty通知。
• 异常检测：基于历史数据自动学习阈值，检测偏离（如访问量突然下降或激增）。

完整部署示例（Docker Compose）

version: '3'
services:
  elasticsearch:
    image: elasticsearch:7.17.10
    environment:
      - discovery.type=single-node
      - ES_JAVA_OPTS=-Xms512m -Xmx512m
    ports:
      - "9200:9200"
      - "9300:9300"
    volumes:
      - esdata:/usr/share/elasticsearch/data
  kibana:
    image: kibana:7.17.10
    environment:
      - ELASTICSEARCH_HOSTS=http://elasticsearch:9200
    ports:
      - "5601:5601"
    depends_on:
      - elasticsearch
  logstash:
    image: logstash:7.17.10
    volumes:
      - ./logstash.conf:/usr/share/logstash/pipeline/logstash.conf
      - ./logs:/var/log/nginx
    ports:
      - "5044:5044"
      - "9600:9600"
    depends_on:
      - elasticsearch
volumes:
  esdata:

关键优化与常见问题

进阶实践与生态

1. 入门：Filebeat + ES + Kibana 就能跑通基础流水线。
2. 落地：细化到具体业务日志的Grok解析、调优ES索引设置、设计Dashboard看板。
3. 进阶：结合Kafka高可用、ILM策略管理、告警引擎构建自动化运维体系。

如果你需要针对某个组件（如Logstash的Grok正则规则、Kibana的Dashboard设计、ES的索引性能调优）的具体配置或排查思路，告诉我详细场景，我可以进一步给出示例。