NYC's Blog Filebeat源码浅析
本文对Filebeat代码进行简单分析，作为之前 Filebeat导致文件无法被删除的原因分析 一文的补充，当然也可单独阅读，了解Filebeat的代码逻辑。需要注意的是：本文不是全面、深度的Filebeat源码剖析，而是专注在通用配置下核心数据的流转上面，目标是理清楚数据从采集到中间流转，最后到发送的流程，而不是对每处代码细节进行分析讲解。本文核心点包括：Filebeat实例的创建和初始化...
Filebeat导致文件无法被删除的原因分析
之前有市场反馈Filebeat导致文件删除后磁盘空间无法释放，于是分析并重现了一下，下面记录一下。熟悉Linux的人都知道，文件删除实际是将其inode链接数减1，当inode链接数变为0，且没有其它进程访问该文件时，操作系统就会真正删除文件，回收资源。“Filebeat导致文件删除后磁盘空间无法释放”的原因就是因为Filebeat打开着文件，所以系统无法真正删除文件，释放磁盘空间。而这个在...
filebeat数据重复和截断及丢失问题分析
本文讨论Filebeat收集文件的时候可能产生的数据重复或者数据截断及丢失的问题。数据重复关于数据重复我们先看关于Filebeat的一段官方描述：Filebeat guarantees that events will be delivered to the configured output at least once and with no data loss. Filebeat is ...
Filebeat重启后不收集的问题分析
Filebeat作为elastic公司使用Golang开发的新一代的日志采集工具，旨在替换原来Logstash的日志收集功能（注意，Logstash的核心功能包含收集和解析两大块，Filebeat的定位只是替代收集部分，所以Filebeat并不能完全取代Logstash）。因为其性能高，资源占用少且轻量级，已经逐渐被很多公司采用。而使用的问题也非常多，今天来讨论之前在elastic中文社区看...
ELK+Filebeat小试
ELKELK(Elasticsearch, Logstash, Kibana)是什么？网上很多，本文就不赘述了，这里推荐IBM的一篇文章：ELK+Filebeat 集中式日志解决方案详解，感觉图文并茂，讲的挺不错，而且里面也对Beat做了简单的说明。Logstash vs Filebeat这里也推荐一篇文章：Filebeat vs. Logstash — The Evolution of a...