廖嘉逸

如果要说 Flink 作为一个流式计算引擎，有什么很不错的地方，我觉得 State / StateBackend 算是一个。

了解 Flink 和 HDFS 之间的交互有助于我们理清 HDFS 可能会给 Flink 带来的问题。

之前总是听到别人说 Flink 本身的反压机制有多么优秀，直到自己真正在应用中碰巧踩到坑，仔细研究后才发现，这个反压机制貌似并不完美。

Disruptor是2011年由LMAX提出的一个无锁消息队列，在短短45分钟的视频分享中，有很多的信息可以分享和深究。

前两天看到Flink的dev邮件列表里有一个对StreamTask的重构，今天研读了一下，觉得Flink的开发者们在处理问题上，确实是有点大道至简的感觉。具体的Proposal地址点击这里。

一次Spark故障排查。

实际业务中，我们通常会以时间作为分区来建立Hive表，然后在SparkSQL中以动态分区的形式插入，发现一个优化空间。

Watermark是流式处理中的一个基础概念，关于Watermark的概念有很多，在这里不做阐述。

在实时的场景中，我们往往会对Aerospike/Redis等设置evict机制，来防止流量暴增带来的存储系统崩溃。