Flink的1.12.0版本前段时间发布了，又带来了很多新特性，其中有两个跟容器化相关的特性：Native Kubernetes部署方式由之前的实验性（experimental）变为正式特性，也就是我们可以在生产环境里面放心大胆的使用了；Kubernetes上面Flink的高可用除了ZooKeeper外又多了一种更轻量级的，更Native的基于ConfigMap的方案选择。当然，这些特性目前...
本文介绍Flink任务流转过程中涉及的图，知道这些可以更好的了解Flink的运行流程。如上图，Flink中有4种图：StreamGraph、JobGraph、ExecutionGraph、PhysicalGraph，分别处于不同的阶段，承担不同的职责。StreamGraphStreamGraph其实就是把我们的代码逻辑以拓扑图的形式组织了一下，其实现类的描述如下：// StreamGraph...
截至1.12.0版本，Flink有3种集群部署/运行模式：Flink Session ClusterFlink Job ClusterFlink Application Cluster三种运行模式主要区别在3个方面：集群的生命周期集群的资源隔离main()方法在Client侧执行还是在集群侧执行下面分别介绍一下。Flink Session Cluster该模式就是先有一个已经在运行的Flin...
了解一个系统当然是先从整体的架构开始（难道不应该是quick start吗？）：如上图，Flink这个分布式流批统一计算框架也是典型的主从架构，JobManager是主，TaskManager是从。JobManager其实是一个统称，其内部根据功能拆分成了3个大模块：ResourceManager：如其名，就是做资源管理的。Flink里面资源是以TaskManager提供的Slot形式存在的...
一直想系统的写一系列Flink的文章，但由于以下原因一直搁置：凡是想写的东西网上都能找到，而且不乏有深度有质量的好文；我想写的很多东西都是基于自己对官方文档及一些高手的文章的多次阅读、实验，以及自己项目中的实践总结，所以理论上是官方文档部分内容的一些总结或者一些实战笔记；一直没有全面研究过源码，感觉不够深入，还没有达到写一系列的水平；没时间、懒、拖延症（last but not the le...
基础Java支持类中嵌套类，称之为nested class。嵌套的层数没有限制，但实际中一般最多用两层。根据内部类是否有static修饰，分为static nested class和non-static nested class。non-static nested class又被称为inner class。inner class里面又有两个特殊一点的类：local class和anonymo...
Kafka的存储层级概念上比较简单，一个topic分为若干partition，一个partition再分为若干segment。下图是一个示例：topic是个逻辑概念，partition和segment则是真实存储数据的：一个partition对应磁盘上面一个目录，一个segment对应partition目录下的一个日志文件，消息数据就是以append-only的方式顺序写入segment文件...
本文讨论Kafka的扩缩容以及故障后如何“补齐”分区，本文的操作基于Kafka 2.6版本。扩容扩容也就是新增节点，扩容后老的数据不会自动迁移，只有新创建的topic才可能会分配到新增的节点上面。如果我们不需要迁移旧数据，那直接把新的节点启动起来就行了，不需要做额外的操作。但有的时候，新增节点后，我们会将一些老数据迁移到新的节点上，以达到负载均衡的目的，这个时候就需要手动操作了。Kafka提...
- « 前一页
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- ...
- 35
- 后一页 »
NYC's Blog