本文讨论Filebeat收集文件的时候可能产生的数据重复或者数据截断及丢失的问题。数据重复关于数据重复我们先看关于Filebeat的一段官方描述：Filebeat guarantees that... 2021-06-04T13:38:18+08:00 Typecho http://niyanchun.com/feed/atom/filebeat-truncate-bug.html http://niyanchun.com/filebeat-truncate-bug.html/comment-page-1#comment-680 2021-06-04T13:38:18+08:00 2021-06-04T13:38:18+08:00 NYC https://niyanchun.com

这也不算是bug，最多是机制的缺陷（所以没有issue），所以Filebeat的官方文档里面也已经说了，而且通过合理的配置是完全可以避免的。就跟所有数据系统如果使用不当都可能会丢数据一样

]]> http://niyanchun.com/filebeat-truncate-bug.html/comment-page-1#comment-679 2021-06-04T12:28:57+08:00 2021-06-04T12:28:57+08:00 lilimon

楼主用的是什么版本？github issue url在哪里？新版本会出现这样的问题吗？很多人应该会关心 这个。

]]> http://niyanchun.com/filebeat-truncate-bug.html/comment-page-1#comment-599 2020-05-13T10:29:50+08:00 2020-05-13T10:29:50+08:00 NYC https://niyanchun.com

这样的确会有问题的，clean_inactive必须大于ignore_older + scan_frequency，所以filebeat启动的时候已经做了检查，如果这里配置错误，是无法启动的。

]]> http://niyanchun.com/filebeat-truncate-bug.html/comment-page-1#comment-597 2020-05-09T14:51:22+08:00 2020-05-09T14:51:22+08:00 lukez

比如ignore_older参数比clean_inactive长..其中逻辑请参考官方文档

]]> http://niyanchun.com/filebeat-truncate-bug.html/comment-page-1#comment-591 2020-03-17T15:14:14+08:00 2020-03-17T15:14:14+08:00 xiongjunkun

hi, 你好, 能够详细解释一下导致filebeat重传的第二种情况吗?

]]>