包阅导读总结
1. 日志收集、ELK、EFK、PLG、Loki
2. 本文介绍了多种日志收集系统，包括经典的 ELK 架构及容器化场景中的 EFK 架构，还提到逐渐流行的 PLG 架构。对比了它们的组件、功能及特点，如 Loki 运营成本低、效率高，数据存储解耦等。
3.
– 日志收集系统
– ELK 架构
– 由 Elasticsearch、Logstash、Kibana、Beats 组合，各有分工
– EFK 架构
– 在 k8s 环境常用，F 代表 Fluent Bit，能收集数据并发到多个目的地，兼容 Docker 和 k8s
– PLG 架构
– 包括 Promtail、Loki、Grafana
– Grafana 提供可视化和分析，Loki 运营成本低，Promtail 收集并推送日志
– 对比
– ELK 中 ES 为每个对象建索引，Loki 只对标签索引，通过 LogQL 查询内容
– Promtail 专为 Loki 定制，与 Prometheus 相同服务发现机制，统一标签管理
思维导图：
文章地址：https://mp.weixin.qq.com/s/lB_Mp1CqdYE-fGz-W50gdg
文章来源：mp.weixin.qq.com
作者：JavaEdge
发布时间：2024/6/19 10:36
语言：中文
总字数：1340字
预计阅读时间：6分钟
评分：83分
标签：日志收集,ELK,EFK,PLG,Loki
以下为原文内容
本内容来源于用户推荐转载，旨在分享知识与观点，如有侵权请联系删除 联系邮箱 media@ilingban.com
经典的ELK架构或现被称为Elastic Stack。Elastic Stack架构为Elasticsearch + Logstash + Kibana + Beats的组合：
-
Beats负责日志的采集
-
Logstash负责做日志的聚合和处理
-
ES作为日志的存储和搜索系统
-
Kibana作为可视化前端展示
整体架构图：
容器化场景中，尤其k8s环境，用户经常使用EFK架构。F代表Fluent Bit，一个开源多平台的日志处理器和转发器。Fluent Bit可以：
-
让用户从不同来源收集数据/日志
-
统一并发到多个目的地
-
完全兼容Docker和k8s环境
Grafana Labs提供的另一个日志解决方案PLG逐渐流行。PLG架构即Promtail + Loki + Grafana的组合：
Grafana，开源的可视化和分析软件，允许用户查询、可视化、警告和探索监控指标。Grafana主要提供时间序列数据的仪表板解决方案，支持超过数十种数据源。
Grafana Loki是一组可以组成一个功能齐全的日志堆栈组件，与其它日志系统不同，Loki只建立日志标签的索引而不索引原始日志消息，而是为日志数据设置一组标签，即Loki运营成本更低，效率还提高几个数量级。
Prometheus启发，可实现可水平扩展、高可用的多租户日志系统。Loki整体架构由不同组件协同完成日志收集、索引、存储等。
各组件如下，Loki’s Architecture深入了解。Loki就是like Prometheus, but for logs。
Promtail是一个日志收集的代理，会将本地日志内容发到一个Loki实例，它通常部署到需要监视应用程序的每台机器/容器上。Promtail主要是用来发现目标、将标签附加到日志流以及将日志推送到Loki。截止到目前，Promtail可以跟踪两个来源的日志：本地日志文件和systemd日志（仅支持AMD64架构）。
ELK/EFK架构确实强，经多年实际环境验证。存储在ES中的日志通常以非结构化JSON对象形式存储在磁盘，且ES为每个对象都建索引，以便全文搜索，然后用户可特定查询语言搜索这些日志数据。
而Loki数据存储解耦：
-
既可在磁盘存储
-
也可用如Amazon S3云存储系统
Loki日志带有一组标签名和值，只有标签对被索引，这种权衡使它比完整索引操作成本更低，但针对基于内容的查询，需通过LogQL再单独查询。
相比Fluentd，Promtail专为Loki定制，它可为运行在同一节点的k8s Pods做服务发现，从指定文件夹读取日志。Loki类似Prometheus的标签方式。因此，当与Prometheus部署在同一环境，因为相同的服务发现机制，来自Promtail的日志通常具有与应用程序指标相同的标签，统一标签管理。
Kibana提供许多可视化工具来进行数据分析，高级功能如异常检测等机器学习功能。Grafana针对Prometheus和Loki等时间序列数据打造，可在同一仪表板上查看日志指标。
