NYC's Blog Kafka的Consumer Group Rebalance
什么是Consumer Group Rebalance？Kafka Consumer创建的时候都要指定一个组ID（group id），所有组ID一样的Consumer就组成了一个Consumer Group。对于一个Partition同一时刻只会分配给同一个Group内某一个Consumer，这就是大家熟知的Kafka消费模型。通过这个模型，Kafka的消费者（也就是应用/服务）可以很方便的...
Kafka的监听地址配置
本文基于Kafka 2.8.有时我们会碰到网络是通畅的，但却连不上Kafka，特别是在多网卡环境或者云环境上很容易出现，这个其实和Kafka的监听配置有关系。本文介绍监听相关的配置，目前监听相关的参数主要有下面几个：listenersadvertised.listenerslistener.security.protocol.mapinter.broker.listener.namesecu...
Kafka的Producer
上篇文章介绍了Kafka Consumer，这篇文章讨论Kafka Producer。Kafka Producer流程概述下面是一个简单的Producer实现：public class SimpleProducer {
public static void main(String[] args) {
Properties config = new Properties();
...
Kafka的多线程消费者实现
Kafka的消费者类KafkaConsumer是非线程安全的，那如何实现多线程的Consumer呢？先了解一下一般Consumer的流程。如上图：通过poll方法从kafka集群拉取数据；处理数据提交offset（如果开启了自动提交enable.auto.commit=true，则每次poll的时候会自动提交上一次poll的offset）如此往复。翻译成代码类似下面这样： Proper...
如何disable Spring Security
如题：如何disable Spring Security？（不要问为什么有这种场景，问了也不知道...）方法很多，比如下面这种在Spring Boot 2中已经过期的（不要再用了）：security.basic.enabled: false
management.security.enabled: falseSpring Boot 2中比较常见的是类似下面这种方式：@Configuratio...
ES基于磁盘的shard分配机制浅析
先回顾几个概念：ES的Index是个逻辑概念，实际由若干shard组成，而shard就是Lucene的Index，即真正存储数据的实体。当有数据需要存储的时候，就需要先分配shard。具体来说需要分配shard的场景包括：数据恢复，主分片（primary）、副本分片的分配，再平衡（rebalancing），节点的新增、删除。对于分布式存储系统来说，数据的分布非常重要，ES shard的分配工...
Flink快速了解（7）——Async I/O
上篇介绍了常见的算子，本文介绍另外一个重要的算子：Async I/O，即异步IO。它是流中频繁访问外部数据的利器，特别是当访问比较耗时的时候。产生背景先考虑一个实际中挺常见的场景：一个流处理程序中对于每个事件都要查一次外部的维表（比如HBase，这里暂不考虑缓存机制）做关联，那在Flink中如何实现呢？典型的做法就是增加一个map/flatmap，在里面做一下查询关联。这样功能没问题，但这个...
Flink快速了解（6）——常用算子（Operator）
Flink的Stream Job就是由一些算子构成的（Source和Sink实质也是特殊的算子而已），本文介绍常见的DataStream算子（Operator）。我用一种不太科学的方式将这些算子分成了2类，并起了一个不太严谨的名字：单流算子：这类算子一般在一个流上面使用；多流算子：这类算子往往操作多个流。单流算子单流算子大都比较简单，粗略介绍。map/flatmap：使用最多的算子，map是...