说说 Flink的内存管理是如何做的?

·Flink是将对象都序列化到一个预分配的内存块上。

·Flink大量的使用了堆外内存如果需要处理的数据超出了内存限制,则存储到硬盘上。

·Flink 为了直接操作二进制数据实现了自己的序列化框架。

·Flink的内存管理分为三部分:

Network Buffers:这个是在TaskManager启动的时候分配的,用于缓存网络数据的内存,每个块是32K,默认分配2048个;

Memory Manage pool:大量的Memory Segment块,用于运行时的算法(Sort/Join/Shuffle等),启动的时候就会分配;

User Code用于User code和TaskManager本身的数据结构。

更多精选文章
标签:
一个创业中的苦逼程序员
笔试题


刷题


简历模板


AI算法


大数据


内推


推荐阅读:
阿里巴巴笔试面试大全
腾讯笔试面试大全
百度笔试面试大全
今日头条笔试面试大全
网易笔试面试大全
Google笔试面试大全
更多笔试面试大全
隐藏