廖嘉逸

最近在搭建一个SQL引擎，正好再次拜读了一下Calcite的paper(不得不吐槽一下calcite的相关资料确实有些少)。原文地址。以前也写过calcite相关的代码解析，不过有些浅显了，SQL解析框架 - Calcite。

Blink作为Flink的分支已经开源一段时间了，在读了一些源码之后，决定写一个Blink Optimization的系列来分享一些有意思的改进。这次选用Count Distinct是因为它一定程度上改善了数据倾斜造成的影响，这个improvement对于很多人应该都是还比较重要的。这个优化方式也是我们常用的方式，但是Blink以更加抽象形式实现了，理论上对于Streaming和Batch都是适用的，但是目前在Batch中还没有使用这个优化。

一次Spark故障排查。

实际业务中，我们通常会以时间作为分区来建立Hive表，然后在SparkSQL中以动态分区的形式插入，发现一个优化空间。

起初是因为看了PingCAP的几篇博客，然后知道了所谓的NewSQL。后来发现自己对于OLTP中的一些技术点并不是特别了解，就决定从自己稍微熟悉一点的技术栈开始做一些探究。所以，这是数据库系列中的第一篇 :)。

Watermark是流式处理中的一个基础概念，关于Watermark的概念有很多，在这里不做阐述。

Apache Flink中对流式数据和批数据的资源调度模式是不一样的。这周的周更博客，由于有事情耽搁，想的一些东西并没有时间做足够的整理，所以写的话题和内容有些简单，仅做了解。

在实时的场景中，我们往往会对Aerospike/Redis等设置evict机制，来防止流量暴增带来的存储系统崩溃。