我现在有一套日志记录系统,底层存储使用的是elasticsearch。记录的数据为接口请求日志,一般是一次请求一个日志。 大概记录的关键的字段有请求的接口名,方法名,请求耗时。 我现在想统计出,所有接口的按照分钟统计的峰值速率情况。 Kib…
Leave a Comment分类: ELK
Validation Failed: 1: this action would add [2] shards, but this cluster currently has [3000]/[3000] maximum normal shar…
Leave a Comment如果是主节点与集群失联1.剩下的节点会进行主节点选举,此过程可能会发生脑裂。2.并将主节点上的主分片对应的在其他节点上的副本分片提升为主分片。3.在副本分片被提拔为主分片后,master节点开始执行恢复操作来重建缺失的副本:集群中的节点相互…
Leave a Comment问题 早上同事反馈ELK套件平台的日志看不到了。 查询logstash应用日志显示: 解决问题 一、查看集群健康状态: 发现健康状态是red 二、查看异常的index 发现有个索引异常了,直接进行删除即可。 删除索引: curl…
Leave a Comment因为我的elasticsearch是用来存储各种日志数据的,需要周期的把数据清理掉,不然磁盘要炸了。 Stack里面有个 Index Lifecycle Policies 好像也可以完成这个工作,没研究明白。 这里记录下使用curator来…
Leave a Comment本文章只为学习研究目的,我们应当尊重elastic的官方权益,禁止使用本文方法做任何商业用途!你可能会被追究商业责任。 初始化项目 我基于容器折腾的,所以要先初始化一个容器项目。 我这里使用的项目基于:https://github.com/…
Leave a Comment我们在配置watcher的时候,有时候期望将事件触发给自己写的服务来进行进一步的处理,这时候就需要写一些webhook了。 这里写个配置的例子。 { “actions”: { “test_webhook”: { “webhook”: { “…
Leave a Commentx-package的监控还是很强大的,但是对于告警内容的二次过滤和开发能力较弱。某些情况下,我们可能需要将数据拿出来,和我们自己开发的数据处理平台对接,对数据进行清洗之后发送告警信息给管理员。 默认从ctx.payload拿到的数据是一种很…
Leave a Comment