标签 Logstash 下的文章

首页 » 标签 Logstash 下的文章

使用Logstash将Kafka中的数据导入到ElasticSearch

本文介绍如何使用Logstash将Kafka中的数据写入到ElasticSearch。使用的各个组件版本如下：kafka_2.11-2.2.0elasticsearch 6.8.3logstash 6.8.3组件安装这里就不赘述了，主要说一下操作流程和需要注意的一些细节。Logstash工作的流程由三部分组成：input：输入（即source），必须要有，指明从那里读取数据。filter：过...

2019-09-28 大数据 7751次阅读

修改Logstash的@timestamp字段为业务时间

Logstash在处理数据的时候，会自动生成一个字段@timestamp，默认该字段存储的是Logstash收到消息/事件(event)的时间。很多时候我们用ELK是处理日志的，日志里面一般都是有时间的。而且很多时候我们只关注日志里面的时间，而不关注Logstash收到这条日志的时间。这个时候，一种方法是再增加一个字段，用来存储日志里面的时间，这种很简单；另一种方法是使用日志中的时间替换掉@...

2018-10-18 大数据 13998次阅读