一、简 介
Loki是受Prometheus启发由Grafana Labs团队开源的水平可扩展，高度可用的多租户日志聚合系统。 开发语言: Google Go。它的设计具有很高的成本效益，并且易于操作。使用标签来作为索引，而不是对全文进行检索，也就是说，你通过这些标签既可以查询日志的内容也可以查询到监控的数据签，极大地降低了日志索引的存储。系统架构十分简单，由以下3个部分组成 ：
Loki 是主服务器，负责存储日志和处理查询 。
promtail 是代理，负责收集日志并将其发送给 loki 。
Grafana 用于 UI 展示。
只要在应用程序服务器上安装promtail来收集日志然后发送给Loki存储，就可以在Grafana UI界面通过添加Loki为数据源进行日志查询（如果Loki服务器性能不够，可以部署多个Loki进行存储及查询）。作为一个日志系统不关只有查询分析日志的能力，还能对日志进行监控和报警
- promtail收集并将日志发送给loki的 Distributor 组件
- Distributor会对接收到的日志流进行正确性校验，并将验证后的日志分批并行发送到Ingester
- Ingester 接受日志流并构建数据块，压缩后存放到所连接的存储后端
- Querier 收到HTTP查询请求，并将请求发送至Ingester 用以获取内存数据 ，Ingester 收到请求后返回符合条件的数据 ；
- 如果 Ingester 没有返回数据，Querier 会从后端存储加载数据并遍历去重执行查询 ，通过HTTP返回查询结果
三、与 ELK 比 较
ELK虽然功能丰富，但规模复杂，资源占用高，操作苦难，很多功能往往用不上，有点杀鸡用牛刀的感觉。
loki 不对日志进行全文索引。通过存储压缩非结构化日志和索引元数据，Loki 操作起来会更简单，更省成本。
通过使用与 Prometheus 相同的标签记录流对日志进行索引和分组，这使得日志的扩展和操作效率更高。
安装部署简单快速，且受 Grafana 原生支持。
四、下载
curl -O -L "https://github.com/grafana/loki/releases/download/v1.5.0/loki-linux-amd64.zip" curl -O -L "https://github.com/grafana/loki/releases/download/v1.5.0/promtail-linux-amd64.zip" wget https://dl.grafana.com/oss/release/grafana-7.1.0-1.x86_64.rpm
五 安装
mkdir /data/loki/{chunks,index} unzip loki-linux-amd64.zip mv loki-linux-amd64 /data/loki/ 新建loki的配置文件： vi /data/loki/loki.yml auth_enabled: false server: http_listen_port: 3100 ingester: lifecycler: address: 172.16.230.84 ring: kvstore: store: inmemory replication_factor: 1 final_sleep: 0s chunk_idle_period: 5m chunk_retain_period: 30s schema_config: configs: - from: 2020-07-21 store: boltdb object_store: filesystem schema: v11 index: prefix: index_ period: 168h #每张表的时间范围6天 storage_config: boltdb: directory: /data/loki/index #索引文件存储地址 filesystem: directory: /data/loki/chunks #块存储地址 limits_config: enforce_metric_name: false reject_old_samples: true reject_old_samples_max_age: 168h chunk_store_config: # 最大可查询历史日期 90天 max_look_back_period: 2160h # 表的保留期90天 table_manager: retention_deletes_enabled: true retention_period: 2160h
启动 loki
cd /data/loki ./lock-linux-amd64 -config.file=/data/loki/loki.yml &
安装promtail
mkdir /data/promtail unzippromtail-linux-amd64.zip mv promtail-linux-amd64 /data/promtail/ # prometail.yaml 配置文件 [root@harbor promtail]# cat promtail.yaml server: http_listen_port: 9080 grpc_listen_port: 0 positions: filename: /tmp/positions.ymal clients: - url: http://172.16.230.84:3100/loki/api/v1/push scrape_configs: - job_name: tomcat static_configs: - targets: - 172.16.230.84 labels: job: tomcat host: 172.16.230.84 __path__: /data/tomcat/logs/*
启动
nohup ./promtail -config.file=/data/prometail/promtail.yaml &
六 安装grafana
rpm -ivh /data/tools/grafana-7.1.0-1.x86_64.rpm
启动
systemctl daemon-reload systemctl start grafana-server systemctl status grafana-server
七 grafana 使用
1. grafana 添加数据源
原文链接：https://blog.csdn.net/qq_40236138/java/article/details/107230640
https://grafana.com/blog/2018/12/12/loki-prometheus-inspired-open-source-logging-for-cloud-natives/
https://github.com/grafana/loki/blob/master/docs/clients/promtail/configuration.md
https://github.com/grafana/loki/blob/v1.5.0/docs/clients/promtail/configuration.md
https://blog.csdn.net/z595746437/article/details/107255510
本文暂时没有评论，来添加一个吧(●'◡'●)