CDC实现机制有哪几种?

目前,业界主流的 CDC 实现机制可以分为两种:

① 基于查询的 CDC:

  • 离线调度查询作业,批处理。依赖表中的更新时间字段,执行查询获取表中最新的数据。
  • 无法捕获删除事件,无法保证数据一致性。
  • 无法保障实时性,基于离线调度天然存在延迟。

② 基于日志的 CDC:

  • 实时消费日志,流式处理。例如,MySQL 的 binlog 日志完整记录了数据库中的变更,把 binlog 文件当作流的数据源。
  • 保障了数据一致性,binlog 日志文件包含了所有历史变更明细。
  • 保障了实时性,binlog 日志文件可以“流式”消费,提供实时数据。
标签: 、面试
  • 回复
隐藏