·Flink是将对象都序列化到一个预分配的内存块上。
·Flink大量的使用了堆外内存,如果需要处理的数据超出了内存限制,则存储到硬盘上。
·Flink 为了直接操作二进制数据实现了自己的序列化框架。
·Flink的内存管理分为三部分:
- Network Buffers:这个是在TaskManager启动的时候分配的,用于缓存网络数据的内存,每个块是32K,默认分配2048个;
- Memory Manage pool:大量的Memory Segment块,用于运行时的算法(Sort/Join/Shuffle等),启动的时候就会分配;
- User Code:用于User code和TaskManager本身的数据结构。
标签:
笔试题
刷题
简历模板
AI算法
大数据
内推
内推: