elasticsearch

为 Elastic Stack 配置安全性

Elastic Stack 和 ELK 的区别 其实是一个东西。ELK实际上是三个技术栈的简称,这三款软件分别是ElasticSearch、LogStach、Kibana。在这个生态圈慢慢发展过程中,加入了一个新成员 Beats。那么这个时候,按照之前的称呼,是不是应该称之为ELKB呢?仔细想想,如果这个技术栈中以后再加入一个新成员呢?所以,正式改名为Elastic Stack。 最低限度的安全性 ElasticSearch vi config/elasticsearch.yml #discovery.type: single-node xpack.security.enabled: true...

集中化的日志管理

把日志放到node节点的主机目录上,在到主机目录上配置rsyslog收集到专门的日志服务器。 从这个日志服务器启一个logstash或者filebeat写入es。 不建议直接从每个节点直接写入es。因为日志量大的时候可能es就会被弄死,另外这么多的filebeat也是要占用不少资源的。 如果觉得麻烦,就每个node写个文件监控。自动添加rsyslog的配置然后重启rsyslog。 这样可以保证日志不丢,还能有序插入es不会因为业务高峰把es弄死,还可以利用logstash再进行一些日志格式化的需求。 目前用这个方案,把istio的所有envoy访问日志、traefik、应用程序日志收集到es上...

elasticsearch、kibana时区问题

问题描述 #索引mappings { "mappings": { "properties": { "datetime": { "type": "date", "format": "yyyy-MM-dd HH:mm:ss" } } } } 通过elasticsearch/elasticsearch向elasticsearch添加数据 { "datetime": "2022-02-28 12:26:30" } 通过kibana看一下...

elasticsearch 分词

安装中文、拼音分词 https://github.com/medcl/elasticsearch-analysis-ik https://github.com/medcl/elasticsearch-analysis-pinyin 下载和elasticsearch对应的版本,解压后移到plugins目录 root@57d58faf9b1e:/usr/share/elasticsearch/plugins# ls ik pinyin 重启elasticsearch使生效 测试一下 默认分词 curl -H "Content-Type: application/json" -XPOST 'loc...

elasticsearch 3种分页方式

本文将提供原始restfull api和elasticsearch-php的示例 from + size 不适合深度分页,max_result_window默认10k size, from类似sql语句里的limit, 如limit {from} {size}; size:每页条数 from:从第几个行开始,默认0 curl curl -H "Content-Type: application/json" -XGET 'localhost:9200/article/_search?pretty' -d' { "size": 2, "from": 0 }' php publi...

elasticsearch 快照和恢复

前提 如果你想使用快照和存储,你必须设置path.repo。 vi elasticsearch.yml path.repo: ["/usr/share/elasticsearch/backup"] 然后重启elasticsearch使生效 存储 创建存储 存储名称:datasvr 存储路径:/usr/share/elasticsearch/backup max_restore_bytes_per_sec:40M max_snapshot_bytes_per_sec:40M 是否压缩compress:是 curl -H "Content-Type: application/json" -XPU...

基于docker的 EFK 日志分析系统

EFK 不是一个软件,而是一套解决方案。EFK 是三个开源软件的缩写,Elasticsearch,Fluentd,Kibana。其中 ELasticsearch 负责日志分析和存储,Fluentd 负责日志收集,Kibana 负责界面展示。它们之间互相配合使用,完美衔接,高效的满足了很多场合的应用,是目前主流的一种日志分析系统解决方案。 本文主要基于Fluentd实时读取日志文件的方式获取日志内容,将日志发送至Elasticsearch,并通过Kibana展示。 启动服务 docker-compose -f docker-compose.yml up -d 验证服务是否已正常启动 注...