NYC's Blog Kafka的存储
Kafka的存储层级概念上比较简单，一个topic分为若干partition，一个partition再分为若干segment。下图是一个示例：topic是个逻辑概念，partition和segment则是真实存储数据的：一个partition对应磁盘上面一个目录，一个segment对应partition目录下的一个日志文件，消息数据就是以append-only的方式顺序写入segment文件...
Kafka的扩容和缩容
本文讨论Kafka的扩缩容以及故障后如何“补齐”分区，本文的操作基于Kafka 2.6版本。扩容扩容也就是新增节点，扩容后老的数据不会自动迁移，只有新创建的topic才可能会分配到新增的节点上面。如果我们不需要迁移旧数据，那直接把新的节点启动起来就行了，不需要做额外的操作。但有的时候，新增节点后，我们会将一些老数据迁移到新的节点上，以达到负载均衡的目的，这个时候就需要手动操作了。Kafka提...
Kafka的可靠性
本文讨论一下Kafka广义上的可靠性，所谓广义是从不同的角度、不同维度去观察系统的可靠性，比如从生产者（Producer）的角度看如何保证已经确认的数据一定写入了系统，不会丢失；从消费者（Consumer）的角度，只要数据没有彻底丢失，就可以读取。再比如从服务端（Broker）的角度，如何保证在可用性（Availability）和持久性（Durability）方面做权衡。副本机制分布式系统的...
Kafka的高效
Kafka在大数据领域消息中间件的位置独占鳌头很多年了，很重要的一个原因就是其能很高效的承载海量数据，这里的高效指读写能做到低延迟、高吞吐。要做到高效，不是特别难，有很多MQ以及Redis之类的组件都可以做到；要做到支撑海量数据且有良好的水平扩展性，也有很多组件，但能同时兼顾二者的，的确就不多了。而Kafka能同时兼顾，主要是在设计上花费了很多心思，核心的一些点包括：磁盘的连续读写充分利用操...
Kafka性能测试
本文内容来自于Jay Kreps于2014年在LinkedIn发布的一篇文章，英文原文见Benchmarking Apache Kafka: 2 Million Writes Per Second (On Three Cheap Machines)。Jay Kreps是Kafka的早期作者之一，也是提供商业版本Kafka的Confluent公司联合创始人兼CEO。尽管该文发布于2014年4月...
使用Logstash将Kafka中的数据导入到ElasticSearch
本文介绍如何使用Logstash将Kafka中的数据写入到ElasticSearch。使用的各个组件版本如下：kafka_2.11-2.2.0elasticsearch 6.8.3logstash 6.8.3组件安装这里就不赘述了，主要说一下操作流程和需要注意的一些细节。Logstash工作的流程由三部分组成：input：输入（即source），必须要有，指明从那里读取数据。filter：过...