什么是 Flink CDC¶
Flink CDC Connectors 是Apache Flink的一组源连接器，使用变更数据捕获 (CDC) 从不同数据库中获取变更。Flink CDC Connectors 集成 Debezium 作为捕获数据变化的引擎。所以它可以充分发挥 Debezium 的能力。详细了解Debezium是什么。
支持的连接器¶
Database |
Version |
|---|---|
MySQL |
Database: 5.7, 8.0.x |
PostgreSQL |
Database: 9.6, 10, 11, 12 |
MongoDB |
Database: 3.6, 4.x, 5.0 |
Oracle |
Database: 11, 12, 19 |
支持的格式¶
Format |
Supported Connector |
Flink Version |
|---|---|---|
Changelog Json |
Apache Kafka |
1.11+ |
支持的 Flink 版本¶
Flink CDC Connectors 与 Flink 之间的版本映射。
Flink CDC Connector Version |
Flink Version |
|---|---|
1.0.0 |
1.11.* |
1.1.0 |
1.11.* |
1.2.0 |
1.12.* |
1.3.0 |
1.12.* |
1.4.0 |
1.13.* |
2.0.* |
1.13.* |
2.1.* |
1.13.* |
特征¶
支持读取数据库快照，即使出现故障也能继续读取binlog，并进行Exactly-once处理。
DataStream API 的 CDC 连接器，用户可以在单个作业中使用多个数据库和表的更改，而无需部署 Debezium 和 Kafka。
Table/SQL API 的 CDC 连接器，用户可以使用 SQL DDL 创建 CDC 源来监视单个表上的更改。
从源头构建¶
先决条件：
git
Maven
At least Java 8
git clone https://github.com/ververica/flink-cdc-connectors.git
cd flink-cdc-connectors
mvn clean install -DskipTests
Flink CDC Connectors is now available at your local .m2 repository.