laravel 以服务提供者的方式使用 elasticsearch

安装安装elasticsearch官方扩展包 composer require elasticsearch/elasticsearch 以服务提供者的方式使用 elasticsearch 可以参考这篇文章：Laravel 以服务提供者的方式使用第三方扩展包下面给出关键配置 config/es.php <?php declare(strict_types=1); return [ 'hosts' => explode(',', env('ELASTIC_HOSTS')),//['http://elasticsearch:9200'] 'username' =&...

初步分析 Elasticsearch 文档

Query DSL Elasticsearch提供基于JSON的完整查询DSL（Domain Specific Language）来定义查询。 https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl.html 例如： GET /_search { "query": { "bool": { "must": [ { "match": { "title": "Search" }}, { "match": { "content": "...

elasticsearch地理位置查询

Elasticsearch支持两种类型的地理数据：支持lat/lon对的geo_point字段和支持点、线、圆圈、多边形、多多边形等的geo_shape字段。下面只介绍geo_point 创建名称为geo的索引 curl --location --request PUT 'localhost:9200/geo' \ --header 'Content-Type: application/json' \ --data-raw '{ "settings": { "number_of_replicas": 3, "number_of_shards": 5 }, "ma...

为 Elastic Stack 配置安全性

Elastic Stack 和 ELK 的区别其实是一个东西。ELK实际上是三个技术栈的简称，这三款软件分别是ElasticSearch、LogStach、Kibana。在这个生态圈慢慢发展过程中，加入了一个新成员 Beats。那么这个时候，按照之前的称呼，是不是应该称之为ELKB呢？仔细想想，如果这个技术栈中以后再加入一个新成员呢?所以，正式改名为Elastic Stack。最低限度的安全性 ElasticSearch vi config/elasticsearch.yml #discovery.type: single-node xpack.security.enabled: true...

集中化的日志管理

把日志放到node节点的主机目录上，在到主机目录上配置rsyslog收集到专门的日志服务器。从这个日志服务器启一个logstash或者filebeat写入es。不建议直接从每个节点直接写入es。因为日志量大的时候可能es就会被弄死，另外这么多的filebeat也是要占用不少资源的。如果觉得麻烦，就每个node写个文件监控。自动添加rsyslog的配置然后重启rsyslog。这样可以保证日志不丢，还能有序插入es不会因为业务高峰把es弄死，还可以利用logstash再进行一些日志格式化的需求。目前用这个方案，把istio的所有envoy访问日志、traefik、应用程序日志收集到es上...

elasticsearch、kibana时区问题

问题描述 #索引mappings { "mappings": { "properties": { "datetime": { "type": "date", "format": "yyyy-MM-dd HH:mm:ss" } } } } 通过elasticsearch/elasticsearch向elasticsearch添加数据 { "datetime": "2022-02-28 12:26:30" } 通过kibana看一下...

elasticsearch 分词

安装中文、拼音分词 https://github.com/medcl/elasticsearch-analysis-ik https://github.com/medcl/elasticsearch-analysis-pinyin 下载和elasticsearch对应的版本，解压后移到plugins目录 root@57d58faf9b1e:/usr/share/elasticsearch/plugins# ls ik pinyin 重启elasticsearch使生效测试一下默认分词 curl -H "Content-Type: application/json" -XPOST 'loc...

elasticsearch 3种分页方式

本文将提供原始restfull api和elasticsearch-php的示例 from + size 不适合深度分页，max_result_window默认10k size, from类似sql语句里的limit, 如limit {from} {size}; size：每页条数 from：从第几个行开始，默认0 curl curl -H "Content-Type: application/json" -XGET 'localhost:9200/article/_search?pretty' -d' { "size": 2, "from": 0 }' php publi...

elasticsearch 快照和恢复

前提如果你想使用快照和存储，你必须设置path.repo。 vi elasticsearch.yml path.repo: ["/usr/share/elasticsearch/backup"] 然后重启elasticsearch使生效存储创建存储存储名称：datasvr 存储路径：/usr/share/elasticsearch/backup max_restore_bytes_per_sec：40M max_snapshot_bytes_per_sec：40M 是否压缩compress：是 curl -H "Content-Type: application/json" -XPU...

基于docker的 EFK 日志分析系统

EFK 不是一个软件，而是一套解决方案。EFK 是三个开源软件的缩写，Elasticsearch，Fluentd，Kibana。其中 ELasticsearch 负责日志分析和存储，Fluentd 负责日志收集，Kibana 负责界面展示。它们之间互相配合使用，完美衔接，高效的满足了很多场合的应用，是目前主流的一种日志分析系统解决方案。本文主要基于Fluentd实时读取日志文件的方式获取日志内容，将日志发送至Elasticsearch，并通过Kibana展示。启动服务 docker-compose -f docker-compose.yml up -d 验证服务是否已正常启动注...