NYC's Blog Flink快速了解（1）——架构
了解一个系统当然是先从整体的架构开始（难道不应该是quick start吗？）：如上图，Flink这个分布式流批统一计算框架也是典型的主从架构，JobManager是主，TaskManager是从。JobManager其实是一个统称，其内部根据功能拆分成了3个大模块：ResourceManager：如其名，就是做资源管理的。Flink里面资源是以TaskManager提供的Slot形式存在的...
Flink快速了解（0）——开篇说明
一直想系统的写一系列Flink的文章，但由于以下原因一直搁置：凡是想写的东西网上都能找到，而且不乏有深度有质量的好文；我想写的很多东西都是基于自己对官方文档及一些高手的文章的多次阅读、实验，以及自己项目中的实践总结，所以理论上是官方文档部分内容的一些总结或者一些实战笔记；一直没有全面研究过源码，感觉不够深入，还没有达到写一系列的水平；没时间、懒、拖延症（last but not the le...
Kafka的存储
Kafka的存储层级概念上比较简单，一个topic分为若干partition，一个partition再分为若干segment。下图是一个示例：topic是个逻辑概念，partition和segment则是真实存储数据的：一个partition对应磁盘上面一个目录，一个segment对应partition目录下的一个日志文件，消息数据就是以append-only的方式顺序写入segment文件...
Kafka的扩容和缩容
本文讨论Kafka的扩缩容以及故障后如何“补齐”分区，本文的操作基于Kafka 2.6版本。扩容扩容也就是新增节点，扩容后老的数据不会自动迁移，只有新创建的topic才可能会分配到新增的节点上面。如果我们不需要迁移旧数据，那直接把新的节点启动起来就行了，不需要做额外的操作。但有的时候，新增节点后，我们会将一些老数据迁移到新的节点上，以达到负载均衡的目的，这个时候就需要手动操作了。Kafka提...
Kafka的可靠性
本文讨论一下Kafka广义上的可靠性，所谓广义是从不同的角度、不同维度去观察系统的可靠性，比如从生产者（Producer）的角度看如何保证已经确认的数据一定写入了系统，不会丢失；从消费者（Consumer）的角度，只要数据没有彻底丢失，就可以读取。再比如从服务端（Broker）的角度，如何保证在可用性（Availability）和持久性（Durability）方面做权衡。副本机制分布式系统的...
Kafka的高效
Kafka在大数据领域消息中间件的位置独占鳌头很多年了，很重要的一个原因就是其能很高效的承载海量数据，这里的高效指读写能做到低延迟、高吞吐。要做到高效，不是特别难，有很多MQ以及Redis之类的组件都可以做到；要做到支撑海量数据且有良好的水平扩展性，也有很多组件，但能同时兼顾二者的，的确就不多了。而Kafka能同时兼顾，主要是在设计上花费了很多心思，核心的一些点包括：磁盘的连续读写充分利用操...
ES数据可靠性分析
ES作为全文检索兼存储系统，数据可靠性至关重要，本文讨论ES是如何实现数据可靠性的。ES底层基于Lucene，所以有必要先搞清楚一些相关的概念。refresh && flush && commitLucene中，有flush和commit的概念。所谓flush，就是定期将内存Buffer里面的数据刷新到Directory这样一个抽象的文件存储层，其实就是生成segment。需要注意的是，因为...
Flink的窗口介绍
Flink的Watermark细节介绍一文中提到了Watermark其实主要就是解决Event Time + Window中的数据完整性问题的，本文作为那篇文章的补充，再介绍一下Window这个概念。关于这部分，我觉得官方文档已经介绍的非常详细了，如果你是Flink使用者，强烈建议好好读几遍。我这里就主要概括性的介绍一下，作为前面文章的补充，同时解决前文遗留的一个问题。What & Why什...