本文摘自我在字节跳动技术公众号上发布的文章,字节跳动 Flink 单点恢复功能实践。
Flink 是如何统一批流引擎的?
发表于
|
分类于
Apache Flink
2015 年,Flink 的作者就写了 Apache Flink: Stream and Batch Processing in a Single Engine 这篇论文。本文以这篇论文为引导,详细讲讲 Flink 内部是如何设计并实现批流一体的架构。
Flink RocksDBStateBackend 介绍
发表于
|
分类于
Apache Flink StateBackend
RocksDBStateBackend 是 Flink 中用来存储大状态的 StateBackend。
Flink FsStateBackend 介绍
发表于
|
分类于
Apache Flink StateBackend
FsStateBackend 可能是大部分公司里最常用的一种 StateBackend 了。
SparkSQL写入Hive动态分区的优化
发表于
|
分类于
Apache Spark
实际业务中,我们通常会以时间作为分区来建立Hive表,然后在SparkSQL中以动态分区的形式插入,发现一个优化空间。