廖嘉逸's Blog

廖嘉逸


  • 首页

  • 归档

  • 关于

  • 分类

  • 搜索

数据湖系列(1) - Hudi 核心功能原理剖析

发表于 2022-05-05 | 分类于 Data Lake

随着互联网业务的逐步成熟,数仓和模型训练的基本盘逐步稳固,越来越多的工程师从业务开发需求转移到了工程的架构升级,而常用的 Hudi 和 Iceberg 往往会成为替代 Hive/Hdfs 等架构升级的选型。

阅读全文 »

Ray Datasets - 模型训练前的"最后一公里"

发表于 2022-03-10 | 分类于 Ray

Ray 1.8+ 版本中提出使用 Datasets 来解决模型训练的”最后一公里”问题。由于并未在 Ray 上做过多的实践,所以本文更多是将 Datasets 做了系统化的梳理。关于 Ray 的介绍可以参考 Ray - A Distributed Framework for Emerging AI Applications。

阅读全文 »

Flink 的容错机制以及弱一致性快照

发表于 2022-02-06 | 分类于 Apache Flink

本文聊聊 Flink 中的容错机制及其存在的常见问题,以及在生产实践中遇到的弱一致性场景和解决方案。

阅读全文 »

Why not RocksDB in Streaming State?

发表于 2022-01-16 | 分类于 Apache Flink

本文以 Apache Flink 为例,聊聊为什么 RocksDB 不是流计算引擎中理想的状态存储。Flink 中使用 RocksDB 作为大状态的存储后端,但在实际线上大规模的生产应用中,我们发现 RocksDB 和流计算场景的组合,即使在参数调优及技术优化后,也始终达不到预期的理想状态。

阅读全文 »

Hazelcast Jet - Low-latency Stream Processing at the 99.99th Percentile

发表于 2022-01-12 | 分类于 Apache Flink

原文:Hazelcast Jet: Low-latency Stream Processing at the 99.99th
Percentile
,Hazelcast Jet 是一个流处理引擎,整篇论文通读下来,它的定位和当前广为应用的流计算引擎 Apache Flink 和 Spark Streaming 又有些不同,详见以下文章的解析。

阅读全文 »

如何自定义 Flink State 使用的 Serializer

发表于 2021-05-12 | 分类于 Apache Flink

自定义 Flink State 的序列化方式是一种高阶的使用技巧,在很多复杂场景下,通过自定义 Serializer 可以在兼容性、性能等方面获得一定的收益。

阅读全文 »

Flink RocksDB 内存管理

发表于 2021-04-17 | 分类于 Apache Flink

RocksDB 的内存管理在 Flink 1.10 版本之前是不受管控的,社区利用 RocksDB 已有的一些内存控制上的优化,在去年对 Flink 中 RocksDB 的使用做了一系列的改造(详见 FLINK-7289)。

阅读全文 »

如何决定事情的优先级

发表于 2021-03-17 | 分类于 职场系列

如果说专业技能决定了一件事情能不能”做”,那么职场软实力决定了一件事情能不能”成”。「职场系列」的内容源于我的真实经历及引发的思考,记录的是我关于职场软实力的思考和感悟。

阅读全文 »

(转) 创业公司生存的必需特质

发表于 2021-01-28 | 分类于 杂谈

注:文章转自 https://klinger.io/post/654608607896272896/joining-hypergrowth-startups。在阅读这篇文章后,对于文章中大部分内容的描述都深感赞同,并结合自身的一些经历,切身体会过,这些特质对于个人、团队、甚至一家公司的影响有多大。感谢文章作者将这些特质给系统化梳理出来,我在这里也将核心内容翻译出来,期望对读者有帮助。

阅读全文 »

解决实时推荐场景下数据断流问题-单点恢复功能介绍

发表于 2020-09-22 | 分类于 Apache Flink

本文摘自我在字节跳动技术公众号上发布的文章,字节跳动 Flink 单点恢复功能实践。

阅读全文 »
12…4
Liao Jiayi

Liao Jiayi

Carpe Diem.

34 日志
12 分类
21 标签
GitHub E-Mail StackOverflow
© 2022 Liao Jiayi
由 Hexo 强力驱动
|
主题 — NexT.Mist