Kafka的高效

Kafka在大数据领域消息中间件的位置独占鳌头很多年了,很重要的一个原因就是其能很高效的承载海量数据,这里的高效指读写能做到低延迟、高吞吐。要做到高效,不是特别难,有很多MQ以及Redis之类的组件都可以做到;要做到支撑海量数据且有良好的水平扩展性,也有很多组件,但能同时兼顾二者的,的确就不多了。而Kafka能同时兼顾,主要是在设计上花费了很多心思,核心的一些点包括:磁盘的连续读写充分利用操...

ES数据可靠性分析

ES作为全文检索兼存储系统,数据可靠性至关重要,本文讨论ES是如何实现数据可靠性的。ES底层基于Lucene,所以有必要先搞清楚一些相关的概念。refresh && flush && commitLucene中,有flush和commit的概念。所谓flush,就是定期将内存Buffer里面的数据刷新到Directory这样一个抽象的文件存储层,其实就是生成segment。需要注意的是,因为...

博客换新装了——Epimoni

今天给博客换了个新装——Epimoni,一个站在很多巨人肩膀上的Typecho主题。这个名字取自希腊语"επιμονή"(借鉴Kubernetes的取名方式),含义是“坚持不懈,持之以恒”,这也是最近一年我一个很大的感悟。健身、学习、阅读、写作、理财、育儿等很多生活中稀松平常的事情要做好,最难的往往都是长期坚持。也许,人之初,性本躁,所以很难看到长期坚持的力量。有个公式非常形象的展示了坚持的...

被疾病折磨的日子

又是好久没更新博客了,这次除了懒,还要身体的原因...。2020年真的是多灾多难的一年,新冠、洪涝、贸易战,而自己的身体也是接连出现各种毛病,不知道这些是不是提醒自己马上就要步入三十了。也许是今年口罩戴的太多的原因,鼻炎特别严重,而且旷日持久,从二月份一直持续到上周末,差不多半年时间。最严重的时候两个鼻子里外都发炎了,不小心碰一下真的想扇自己两巴掌,太疼了,每天洗脸都要绕着鼻子。最头疼的是要...

Skywalking流程简析及源码调试

如之前的文章所介绍,Skywalking主要由Agent、OAP、Storage、UI四大模块组成(如下图):Agent和业务程序运行在一起,采集链路及其它数据,通过gRPC发送给OAP(部分Agent采用http+json的方式);OAP还原链路(图中的Tracing),并分析产生一些指标(图中的Metric),最终存储到Storage中。本文从源码角度来串联一下这整个流程(基于目前最新的...

OpenTracing概念术语介绍

本来计划接着上文介绍Skywalking的架构,但是我想了一下,觉得还是有必要先把链路跟踪里面涉及的一些基础概念术语介绍一下,介绍这些Skywalking并不是一个比较好的选择。原因一方面是Skywalking只是众多APM实现之一,里面有些设计并不适合其它APM,另一方面Skywalking提供的比较好的探针多时Java的,而且是字节码注入的,不利于观察学习。当然最重要的是有一个更合适的选...

OpenTracing Java Library教程(4)——Baggage介绍

本文内容主要翻译(意译)自Yurishkuro大神的opentracing-tutorial java,加了一些补充说明,方便理解,习惯看英文的也可以看原文。总共4篇,本文是第4篇。如果你还没接触过OpenTracing,建议先读这篇文章《OpenTracing概念术语介绍》和官方文档。第1篇:单span的trace创建。第2篇:多span的trace创建(进程内SpanContext传递)...

OpenTracing Java Library教程(3)——跨服务传递SpanContext

本文内容主要翻译(意译)自Yurishkuro大神的opentracing-tutorial java,加了一些补充说明,方便理解,习惯看英文的也可以看原文。总共4篇,本文是第3篇。如果你还没接触过OpenTracing,建议先读这篇文章《OpenTracing概念术语介绍》和官方文档。第1篇:单span的trace创建。第2篇:多span的trace创建(进程内SpanContext传递)...
站点总览
  • 文章总数:278篇
  • 分类总数:15个
  • 评论总数:447条
  • 运行时间:6年288天
最近评论
徐小鹏小米手环5的睡眠监测确实不行,
Gordon那写入ES 只能单条写入加routing了? 不能bulk批量加吧? 会影响写入效率么?
Gordon有弊端的吧? 例如以用户ID作为routing 只适合按用户的搜索 没有传用户ID的就无...
多多非常好的文章,学习到了👍
窗外一叶我认为这本书里吹嘘的成分比较多,没有多少干货。移动通信网络(5G6G)和WiFi的界限会越来越...
aa懵逼
yhm流痞
马旭鹏路过
lukez比如ignore_older参数比clean_inactive长..其中逻辑请参考官方文档
QwQ按照教程配置IIS8.5主机环境Typecho伪静态问题终于解决了,救活了我的垃圾小站。