NYC's Blog Kafka的高效
Kafka在大数据领域消息中间件的位置独占鳌头很多年了，很重要的一个原因就是其能很高效的承载海量数据，这里的高效指读写能做到低延迟、高吞吐。要做到高效，不是特别难，有很多MQ以及Redis之类的组件都可以做到；要做到支撑海量数据且有良好的水平扩展性，也有很多组件，但能同时兼顾二者的，的确就不多了。而Kafka能同时兼顾，主要是在设计上花费了很多心思，核心的一些点包括：磁盘的连续读写充分利用操...
Kafka性能测试
本文内容来自于Jay Kreps于2014年在LinkedIn发布的一篇文章，英文原文见Benchmarking Apache Kafka: 2 Million Writes Per Second (On Three Cheap Machines)。Jay Kreps是Kafka的早期作者之一，也是提供商业版本Kafka的Confluent公司联合创始人兼CEO。尽管该文发布于2014年4月...
使用Logstash将Kafka中的数据导入到ElasticSearch
本文介绍如何使用Logstash将Kafka中的数据写入到ElasticSearch。使用的各个组件版本如下：kafka_2.11-2.2.0elasticsearch 6.8.3logstash 6.8.3组件安装这里就不赘述了，主要说一下操作流程和需要注意的一些细节。Logstash工作的流程由三部分组成：input：输入（即source），必须要有，指明从那里读取数据。filter：过...