fluentd

集中化的日志管理

Backend

把日志放到node节点的主机目录上,在到主机目录上配置rsyslog收集到专门的日志服务器。 从这个日志服务器启一个logstash或者filebeat写入es。 不建议直接从每个节点直接写入es。因为日志量大的时候可能es就会被弄死,另外这么多的filebeat也是要占用不少资源的。 如果觉得麻烦,就每个node写个文件监控。自动添加rsyslog的配置然后重启rsyslog。 这样可以保证日志不丢,还能有序插入es不会因为业务高峰把es弄死,还可以利用logstash再进行一些日志格式化的需求。 目前用这个方案,把istio的所有envoy访问日志、traefik、应用程序日志收集到es上...

fluentd 的使用

Backend

td-agent 是基于 fluentd 核心功能开发,td-agent 优先考虑稳定性而不是新功能。1️⃣ Fluentd 有9种类型的插件,其中Input和Output是最常用的 Input和Output一般是成对出现的,如果要测试Input,Output可以选stdout;如果要测试Output,Input可以选in_http。这两个组合是比较直观的 输入 in_forward #php客户端(fluent/logger)使用此源 @type forward @id in_forward port 24224 bind 0.0.0.0 in_http...

基于docker的 EFK 日志分析系统

Backend

EFK 不是一个软件,而是一套解决方案。EFK 是三个开源软件的缩写,Elasticsearch,Fluentd,Kibana。其中 ELasticsearch 负责日志分析和存储,Fluentd 负责日志收集,Kibana 负责界面展示。它们之间互相配合使用,完美衔接,高效的满足了很多场合的应用,是目前主流的一种日志分析系统解决方案。 本文主要基于Fluentd实时读取日志文件的方式获取日志内容,将日志发送至Elasticsearch,并通过Kibana展示。 启动服务 docker-compose -f docker-compose.yml up -d 验证服务是否已正常启动 ...