Liao Jiayi 2019/04/12 #JVM

一次Spark故障排查。这个任务的处理过程很简单，从Kafka接收数据，经过打标签的Operator，最后写入Hive。

Liao Jiayi 2019/02/12 #JVM#Spark#Apache Spark

最近在stackoverflow上看到有人好奇Spark是在什么时机对Accumulator或者Broadcast这样的变量进行回收的。自己在看源码的时候发现了这个有趣的地方。本文描述了在Spark ContextCleaner中利用WeakReference和referenceQueue来清理无效对象的机制和原理。

Liao Jiayi 2018/10/11 #JVM

本文记录了一次Map Failed导致的一次JVM OOM故障，给出了原因以及解决办法。

Liao Jiayi 2018/04/11 #Memory#Linux#JVM

JVM 错误日志 hs_err_pid.log 详解，包括内存不足、Native memory allocation 失败等问题的原因和解决方案。