廖嘉逸

在轻量级数据库中，我们不得不提到 RocksDB。这是 Database 系列的第二篇，由于工作原因，距离第一篇已经比较遥远，RocksDB 在我的周围经常可以听到，比如作为 Flink 的状态存储介质，TiDB 基于 RocksDB 做了 Google Spanner 的分布式实现等。

Blink作为Flink的分支已经开源一段时间了，在读了一些源码之后，决定写一个Blink Optimization的系列来分享一些有意思的改进。这次选用Count Distinct是因为它一定程度上改善了数据倾斜造成的影响，这个improvement对于很多人应该都是还比较重要的。这个优化方式也是我们常用的方式，但是Blink以更加抽象形式实现了，理论上对于Streaming和Batch都是适用的，但是目前在Batch中还没有使用这个优化。

一次Spark故障排查。

实际业务中，我们通常会以时间作为分区来建立Hive表，然后在SparkSQL中以动态分区的形式插入，发现一个优化空间。

起初是因为看了PingCAP的几篇博客，然后知道了所谓的NewSQL。后来发现自己对于OLTP中的一些技术点并不是特别了解，就决定从自己稍微熟悉一点的技术栈开始做一些探究。所以，这是数据库系列中的第一篇 :)。

Watermark是流式处理中的一个基础概念，关于Watermark的概念有很多，在这里不做阐述。

在实时的场景中，我们往往会对Aerospike/Redis等设置evict机制，来防止流量暴增带来的存储系统崩溃。