廖嘉逸's Blog

廖嘉逸


  • 首页

  • 归档

  • 关于

  • 分类

  • 搜索

解决实时推荐场景下数据断流问题-单点恢复功能介绍

发表于 2020-09-22 | 分类于 Apache Flink

本文摘自我在字节跳动技术公众号上发布的文章,字节跳动 Flink 单点恢复功能实践。

阅读全文 »

Flink 是如何统一批流引擎的?

发表于 2020-08-02 | 分类于 Apache Flink

2015 年,Flink 的作者就写了 Apache Flink: Stream and Batch Processing in a Single Engine 这篇论文。本文以这篇论文为引导,详细讲讲 Flink 内部是如何设计并实现批流一体的架构。

阅读全文 »

Flink - Network Buffer 的一些常见问题

发表于 2020-06-12 | 分类于 Apache Flink

Flink 中 Network Buffer 相关知识。

阅读全文 »

Hudi 的小调研

发表于 2020-05-14 | 分类于 Data Lake

自己关于 Apache Hudi 的一些简单的了解和想法。

阅读全文 »

Flink RocksDBStateBackend 介绍

发表于 2020-03-20 | 分类于 Apache Flink StateBackend

RocksDBStateBackend 是 Flink 中用来存储大状态的 StateBackend。

阅读全文 »

Flink FsStateBackend 介绍

发表于 2020-03-04 | 分类于 Apache Flink StateBackend

FsStateBackend 可能是大部分公司里最常用的一种 StateBackend 了。

阅读全文 »

Ray - A Distributed Framework for Emerging AI Applications

发表于 2020-01-03 | 分类于 未分类技术文章

关于 Ray 的一些笔记和想法。

阅读全文 »

Flink 和 HDFS 的交互

发表于 2019-10-21 | 分类于 Apache Flink

了解 Flink 和 HDFS 之间的交互有助于我们理清 HDFS 可能会给 Flink 带来的问题。

阅读全文 »

Spark Streaming在轻量任务下出现的GC问题

发表于 2019-04-12 | 分类于 JVM

一次Spark故障排查。

阅读全文 »

SparkSQL写入Hive动态分区的优化

发表于 2019-04-12 | 分类于 Apache Spark

实际业务中,我们通常会以时间作为分区来建立Hive表,然后在SparkSQL中以动态分区的形式插入,发现一个优化空间。

阅读全文 »
123
Liao Jiayi

Liao Jiayi

Carpe Diem.

25 日志
21 分类
37 标签
GitHub E-Mail StackOverflow
© 2021 Liao Jiayi
由 Hexo 强力驱动
|
主题 — NexT.Mist