廖嘉逸's Blog

廖嘉逸


  • 首页

  • 归档

  • 关于

  • 分类

  • 搜索

Flink StateBackend (1) - Overview

发表于 2020-01-31 | 分类于 Apache Flink StateBackend

如果要说 Flink 作为一个流式计算引擎,有什么很不错的地方,我觉得 State / StateBackend 算是一个。

阅读全文 »

Ray - A Distributed Framework for Emerging AI Applications

发表于 2020-01-03 | 分类于 未分类技术文章

关于 Ray 的一些笔记和想法。

阅读全文 »

Flink 和 HDFS 的交互

发表于 2019-10-21 | 分类于 Apache Flink

了解 Flink 和 HDFS 之间的交互有助于我们理清 HDFS 可能会给 Flink 带来的问题。

阅读全文 »

Flink网络栈中反压机制的优化

发表于 2019-06-20 | 分类于 Apache Flink

之前总是听到别人说 Flink 本身的反压机制有多么优秀,直到自己真正在应用中碰巧踩到坑,仔细研究后才发现,这个反压机制貌似并不完美。

阅读全文 »

Disruptor

发表于 2019-06-16 | 分类于 未分类技术文章

Disruptor是2011年由LMAX提出的一个无锁消息队列,在短短45分钟的视频分享中,有很多的信息可以分享和深究。

阅读全文 »

Flink - StreamTask With Mailbox

发表于 2019-05-13 | 分类于 Apache Flink

前两天看到Flink的dev邮件列表里有一个对StreamTask的重构,今天研读了一下,觉得Flink的开发者们在处理问题上,确实是有点大道至简的感觉。具体的Proposal地址点击这里。

阅读全文 »

Spark Streaming在轻量任务下出现的GC问题

发表于 2019-04-12 | 分类于 JVM

一次Spark故障排查。

阅读全文 »

SparkSQL写入Hive动态分区的优化

发表于 2019-04-12 | 分类于 Apache Spark

实际业务中,我们通常会以时间作为分区来建立Hive表,然后在SparkSQL中以动态分区的形式插入,发现一个优化空间。

阅读全文 »

聊聊Apache Flink中的Watermark

发表于 2019-03-23 | 分类于 Apache Flink

Watermark是流式处理中的一个基础概念,关于Watermark的概念有很多,在这里不做阐述。

阅读全文 »

Flink Meetup - 基于Flink的实时用户行为分析

发表于 2019-03-10 | 分类于 Apache Flink
本文阐述了我在2018年Flink Meetup北京站的一次分享。
阅读全文 »
1234
Liao Jiayi

Liao Jiayi

Carpe Diem.

35 日志
21 分类
37 标签
GitHub E-Mail StackOverflow
© 2020 Liao Jiayi
由 Hexo 强力驱动
|
主题 — NexT.Mist