廖嘉逸

Disruptor是2011年由LMAX提出的一个无锁消息队列，在短短45分钟的视频分享中，有很多的信息可以分享和深究。

只是想说，庆幸自己在刚潜水不久就犯了这个错误，而不是等到以后深度更大、环境更恶劣的时候出现。。。

读书笔记。

之前被推荐了极客时间的这个课程，想想也是蛮需要的，在这里记录一下自己对每节的总结和思考。

前两天看到Flink的dev邮件列表里有一个对StreamTask的重构，今天研读了一下，觉得Flink的开发者们在处理问题上，确实是有点大道至简的感觉。具体的Proposal地址点击这里。

最近在搭建一个SQL引擎，正好再次拜读了一下Calcite的paper(不得不吐槽一下calcite的相关资料确实有些少)。原文地址。以前也写过calcite相关的代码解析，不过有些浅显了，SQL解析框架 - Calcite。

Blink作为Flink的分支已经开源一段时间了，在读了一些源码之后，决定写一个Blink Optimization的系列来分享一些有意思的改进。这次选用Count Distinct是因为它一定程度上改善了数据倾斜造成的影响，这个improvement对于很多人应该都是还比较重要的。这个优化方式也是我们常用的方式，但是Blink以更加抽象形式实现了，理论上对于Streaming和Batch都是适用的，但是目前在Batch中还没有使用这个优化。

发现工作中经常少不了做JVM参数分析、GC调优等一些故障分析类的工作，并且几乎每个新类型的错误都能发现自己的知识盲区，实在是需要有个长期的日志来记录一下。

实际业务中，我们通常会以时间作为分区来建立Hive表，然后在SparkSQL中以动态分区的形式插入，发现一个优化空间。