原理解析 | 深入了解Apache Flink的网络协议栈

一些特殊的消息如果通过 RecordWriter 发送，也会触发立即 Flush 缓存的数据。其中最重要的消息包括 Checkpoint barrier 以及 end-of-partition 事件，这些事件应该尽快被发送，而不应该等待 Buffer 被填满或者 Output flusher 的下一次 Flush。

▼ 进一步的讨论

与小于 1.5 版本的 Flink 不同，请注意(a)网络 Buffer 现在会被直接放在 Subpartition 的队列中，(b)网络 Buffer 不会在 Flush 之后被关闭。这给我们带来了一些好处：

• 同步开销较少(Output flusher 和 RecordWriter 是相互独立的)
• 在高负荷情况下，Netty 是瓶颈(直接的网络瓶颈或反压)，我们仍然可以在未完成的 Buffer 中填充数据
• Netty 通知显著减少

（编辑：清远站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!