NYC's Blog Filebeat源码浅析
本文对Filebeat代码进行简单分析，作为之前 Filebeat导致文件无法被删除的原因分析 一文的补充，当然也可单独阅读，了解Filebeat的代码逻辑。需要注意的是：本文不是全面、深度的Filebeat源码剖析，而是专注在通用配置下核心数据的流转上面，目标是理清楚数据从采集到中间流转，最后到发送的流程，而不是对每处代码细节进行分析讲解。本文核心点包括：Filebeat实例的创建和初始化...
Filebeat导致文件无法被删除的原因分析
之前有市场反馈Filebeat导致文件删除后磁盘空间无法释放，于是分析并重现了一下，下面记录一下。熟悉Linux的人都知道，文件删除实际是将其inode链接数减1，当inode链接数变为0，且没有其它进程访问该文件时，操作系统就会真正删除文件，回收资源。“Filebeat导致文件删除后磁盘空间无法释放”的原因就是因为Filebeat打开着文件，所以系统无法真正删除文件，释放磁盘空间。而这个在...
k8s网络学习（4）——Service的艺术
K8s的网络主要需要解决4个问题：高度耦合的容器间的通信问题Pod与Pod之间的通信Pod和Service之间的通信（本文）外部系统和Service之间的通信（本文涉及一部分）上篇文章讨论了第2个问题，本文继续讲述第3个问题和第4个问题：Pod和Service之间的通信、外部系统和Service之间的通信。其核心就在Service，官方文档（英文，中文）已经介绍的比较详细了，本文主要是学习笔...
k8s网络学习（3）——网络模型&&CNI&&CNM
K8s的网络主要需要解决4个问题：高度耦合的容器间的通信问题Pod与Pod之间的通信（本文）Pod和Service之间的通信外部系统和Service之间的通信上篇文章讨论了第1个问题，本文继续讲述第2个问题：Pod与Pod之间的通信。k8s网络模型pod是k8s中最小的部署单元，不同pod可能会分布在不同机器上面，解决了Pod之间的通信问题，其实也就解决了跨主机容器通信的问题。而k8s在这方...
k8s网络学习（2）——pause容器的秘密
上一篇文章介绍了单机容器网络的基础知识，本篇开始介绍K8s的网络。本文假定你已经对K8s的各种基本概念（比如Node、Pod、Service等）非常了解，如果还不了解，可以参考我之前的博客：Kubernetes架构及资源关系简单总结。K8s的网络主要需要解决4个问题：高度耦合的容器间的通信问题（本文）Pod与Pod之间的通信Pod和Service之间的通信外部系统和Service之间的通信本...
k8s网络学习（1）——单机容器网络
最近阅读了一下《Kubernetes网络权威指南：基础、原理与实践》，觉得是非常不错的一本书，本系列Kubernetes网络的文章也是阅读此书后的一些实践、扩展阅读，算是学习笔记和总结吧。我觉得容器（Linux容器）的发展大致可以分这么三个阶段：第一阶段：Linux内核时代，内核提出并实现了Namespace技术，为容器技术奠定了基石，但此时容器还只是一颗深埋的种子，大多数人还不知道。第二阶...
Flink快速了解（5）——Job&&Task&&Subtask&&SlotSharing
本文讲一些比较八股的概念性东西，不是特别实用，但对于理解任务的运行非常有帮助。先做个自我检测：你知道Flink的Job指什么吗？Task呢？Subtask呢？这些和JVM Thread的对应关系是什么？你能估计出你的应用跑起来以后大概会产生多少个Thread吗？你知道你的应用需要多少个Slot吗？OK，如果你都清楚了，那Ctrl/Command+w吧...。如果还有些疑问，可以继续往下看。注...
Flink Native Kubernetes支持Volume Mount
在之前的文章 Flink快速了解（4）——NativeKubernetes&HA 中讲到 Native Kubernetes在Flink 1.12版本中已经成为一个正式特性，使用起来也的确非常的简单、方便，但文末提到我碰到的一个问题：无法挂载volume。其实目前Flink Native Kubernetes这种方式提供的容器自定义能力还非常有限。从代码看，是通过一个个配置去支持的（见Kub...