廖嘉逸's Blog

SparkSQL写入Hive动态分区的优化

发表于 2019-04-12 | 分类于 Apache Spark

实际业务中，我们通常会以时间作为分区来建立Hive表，然后在SparkSQL中以动态分区的形式插入，发现一个优化空间。

发表于 2019-03-23 | 分类于 Apache Flink

Watermark是流式处理中的一个基础概念，关于Watermark的概念有很多，在这里不做阐述。

发表于 2019-03-10 | 分类于 Apache Flink

本文阐述了我在2018年Flink Meetup北京站的一次分享。

发表于 2019-03-03 | 分类于 Aerospike

在实时的场景中，我们往往会对Aerospike/Redis等设置evict机制，来防止流量暴增带来的存储系统崩溃。

发表于 2019-02-27 | 分类于 Apache Flink CEP

本文描述了Apache Flink CEP模块中使用的一些瓶颈。

发表于 2019-02-20 | 分类于 Apache Flink CEP

本文描述了Apache Flink CEP模块中匹配事件的提取过程。

发表于 2019-02-14 | 分类于 Apache Flink CEP

本文描述了Apache Flink中对CEP规则匹配的原理

发表于 2019-02-12 | 分类于 Apache Spark

本文描述了在Spark ContextCleaner中利用WeakReference和referenceQueue来清理无效对象的机制和原理

发表于 2019-01-18 | 分类于 Apache Flink CEP

本文描述了Apache Flink中对CEP规则解析的原理

发表于 2018-11-04 | 分类于 Apache Flink

本文译自Data Artisans博客，比较了Apache Flink中Savepoint和Checkpoint的异同点。