廖嘉逸

一次Spark故障排查。

实际业务中，我们通常会以时间作为分区来建立Hive表，然后在SparkSQL中以动态分区的形式插入，发现一个优化空间。

起初是因为看了PingCAP的几篇博客，然后知道了所谓的NewSQL。后来发现自己对于OLTP中的一些技术点并不是特别了解，就决定从自己稍微熟悉一点的技术栈开始做一些探究。所以，这是数据库系列中的第一篇 :)。

Watermark是流式处理中的一个基础概念，关于Watermark的概念有很多，在这里不做阐述。

Apache Flink中对流式数据和批数据的资源调度模式是不一样的。这周的周更博客，由于有事情耽搁，想的一些东西并没有时间做足够的整理，所以写的话题和内容有些简单，仅做了解。

在实时的场景中，我们往往会对Aerospike/Redis等设置evict机制，来防止流量暴增带来的存储系统崩溃。