廖嘉逸

Apache Flink 在 Dispatcher、JobMaster、ResourceManager、TaskExecutor 几大组件之间采用 akka 进行通信。

关于我之前写的 CEP 博客，可以点击这里。

在轻量级数据库中，我们不得不提到 RocksDB。这是 Database 系列的第二篇，由于工作原因，距离第一篇已经比较遥远，RocksDB 在我的周围经常可以听到，比如作为 Flink 的状态存储介质，TiDB 基于 RocksDB 做了 Google Spanner 的分布式实现等。

这是我在极客时间买的第一个课程，在这里纯粹是当做笔记…

之前总是听到别人说 Flink 本身的反压机制有多么优秀，直到自己真正在应用中碰巧踩到坑，仔细研究后才发现，这个反压机制貌似并不完美。

Disruptor是2011年由LMAX提出的一个无锁消息队列，在短短45分钟的视频分享中，有很多的信息可以分享和深究。

之前被推荐了极客时间的这个课程，想想也是蛮需要的，在这里记录一下自己对每节的总结和思考。

前两天看到Flink的dev邮件列表里有一个对StreamTask的重构，今天研读了一下，觉得Flink的开发者们在处理问题上，确实是有点大道至简的感觉。具体的Proposal地址点击这里。

最近在搭建一个SQL引擎，正好再次拜读了一下Calcite的paper(不得不吐槽一下calcite的相关资料确实有些少)。原文地址。以前也写过calcite相关的代码解析，不过有些浅显了，SQL解析框架 - Calcite。

Blink作为Flink的分支已经开源一段时间了，在读了一些源码之后，决定写一个Blink Optimization的系列来分享一些有意思的改进。这次选用Count Distinct是因为它一定程度上改善了数据倾斜造成的影响，这个improvement对于很多人应该都是还比较重要的。这个优化方式也是我们常用的方式，但是Blink以更加抽象形式实现了，理论上对于Streaming和Batch都是适用的，但是目前在Batch中还没有使用这个优化。