Skip to content

Commit d6923b0

Browse files
lvyanquanlvyanquan
committed
[FLINK-37231] Add doc for Source metrics.
1 parent 6aeb5e8 commit d6923b0

File tree

16 files changed

+305
-0
lines changed

16 files changed

+305
-0
lines changed

‎docs/content.zh/docs/connectors/flink-sources/db2-cdc.md‎

Lines changed: 19 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -354,6 +354,25 @@ public class Db2SourceExample {
354354
}
355355
```
356356

357+
### 可用的指标
358+
359+
指标系统能够帮助了解分片分发的进展， 下面列举出了支持的 Flink 指标 [Flink metrics](https://nightlies.apache.org/flink/flink-docs-master/docs/ops/metrics/):
360+
361+
| Group | Name | Type | Description |
362+
|------------------------|----------------------------|-------|----------------|
363+
| namespace.schema.table | isSnapshotting | Gauge | 表是否在快照读取阶段 |
364+
| namespace.schema.table | isStreamReading | Gauge | 表是否在增量读取阶段 |
365+
| namespace.schema.table | numTablesSnapshotted | Gauge | 已经被快照读取完成的表的数量 |
366+
| namespace.schema.table | numTablesRemaining | Gauge | 还没有被快照读取的表的数据 |
367+
| namespace.schema.table | numSnapshotSplitsProcessed | Gauge | 正在处理的分片的数量 |
368+
| namespace.schema.table | numSnapshotSplitsRemaining | Gauge | 还没有被处理的分片的数量 |
369+
| namespace.schema.table | numSnapshotSplitsFinished | Gauge | 已经处理完成的分片的数据 |
370+
| namespace.schema.table | snapshotStartTime | Gauge | 快照读取阶段开始的时间 |
371+
| namespace.schema.table | snapshotEndTime | Gauge | 快照读取阶段结束的时间 |
372+
373+
注意:
374+
Group 名称是 `namespace.schema.table`，这里的 `namespace` 是实际的数据库名称， `schema` 是实际的 schema 名称， `table` 是实际的表名称。
375+
357376
The DB2 CDC incremental connector (since 3.1.0) can be used as the following shows:
358377
```java
359378
import org.apache.flink.api.common.eventtime.WatermarkStrategy;

‎docs/content.zh/docs/connectors/flink-sources/mongodb-cdc.md‎

Lines changed: 19 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -488,6 +488,25 @@ public class MongoDBIncrementalSourceExample {
488488
- 如果使用数据库正则表达式，则需要 `readAnyDatabase` 角色。
489489
- 增量快照功能仅支持 MongoDB 4.0 之后的版本。
490490
491+
### 可用的指标
492+
493+
指标系统能够帮助了解分片分发的进展， 下面列举出了支持的 Flink 指标 [Flink metrics](https://nightlies.apache.org/flink/flink-docs-master/docs/ops/metrics/):
494+
495+
| Group | Name | Type | Description |
496+
|------------------------|----------------------------|-------|----------------|
497+
| namespace.schema.table | isSnapshotting | Gauge | 表是否在快照读取阶段 |
498+
| namespace.schema.table | isStreamReading | Gauge | 表是否在增量读取阶段 |
499+
| namespace.schema.table | numTablesSnapshotted | Gauge | 已经被快照读取完成的表的数量 |
500+
| namespace.schema.table | numTablesRemaining | Gauge | 还没有被快照读取的表的数据 |
501+
| namespace.schema.table | numSnapshotSplitsProcessed | Gauge | 正在处理的分片的数量 |
502+
| namespace.schema.table | numSnapshotSplitsRemaining | Gauge | 还没有被处理的分片的数量 |
503+
| namespace.schema.table | numSnapshotSplitsFinished | Gauge | 已经处理完成的分片的数据 |
504+
| namespace.schema.table | snapshotStartTime | Gauge | 快照读取阶段开始的时间 |
505+
| namespace.schema.table | snapshotEndTime | Gauge | 快照读取阶段结束的时间 |
506+
507+
注意:
508+
Group 名称是 `namespace.schema.table`，这里的 `namespace` 是实际的数据库名称， `schema` 是实际的 schema 名称， `table` 是实际的表名称。
509+
491510
### 完整的 Changelog
492511
493512
MongoDB 6.0 以及更高的版本支持发送变更流事件，其中包含文档的更新前和更新后的内容（或者说数据的前后镜像）。

‎docs/content.zh/docs/connectors/flink-sources/mysql-cdc.md‎

Lines changed: 19 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -776,6 +776,25 @@ $ ./bin/flink run \
776776
* 如果指定的列不存在更新操作，此时可以保证 Exactly once 语义。
777777
* 如果指定的列存在更新操作，此时只能保证 At least once 语义。但可以结合下游，通过指定下游主键，结合幂等性操作来保证数据的正确性。
778778

779+
### 可用的指标
780+
781+
指标系统能够帮助了解分片分发的进展， 下面列举出了支持的 Flink 指标 [Flink metrics](https://nightlies.apache.org/flink/flink-docs-master/docs/ops/metrics/):
782+
783+
| Group | Name | Type | Description |
784+
|------------------------|----------------------------|-------|----------------|
785+
| namespace.schema.table | isSnapshotting | Gauge | 表是否在快照读取阶段 |
786+
| namespace.schema.table | isStreamReading | Gauge | 表是否在增量读取阶段 |
787+
| namespace.schema.table | numTablesSnapshotted | Gauge | 已经被快照读取完成的表的数量 |
788+
| namespace.schema.table | numTablesRemaining | Gauge | 还没有被快照读取的表的数据 |
789+
| namespace.schema.table | numSnapshotSplitsProcessed | Gauge | 正在处理的分片的数量 |
790+
| namespace.schema.table | numSnapshotSplitsRemaining | Gauge | 还没有被处理的分片的数量 |
791+
| namespace.schema.table | numSnapshotSplitsFinished | Gauge | 已经处理完成的分片的数据 |
792+
| namespace.schema.table | snapshotStartTime | Gauge | 快照读取阶段开始的时间 |
793+
| namespace.schema.table | snapshotEndTime | Gauge | 快照读取阶段结束的时间 |
794+
795+
注意:
796+
Group 名称是 `namespace.schema.table`，这里的 `namespace` 是实际的数据库名称， `schema` 是实际的 schema 名称， `table` 是实际的表名称。
797+
779798
数据类型映射
780799
----------------
781800

‎docs/content.zh/docs/connectors/flink-sources/oceanbase-cdc.md‎

Lines changed: 19 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -569,6 +569,25 @@ public class OceanBaseSourceExample {
569569
}
570570
```
571571
572+
### 可用的指标
573+
574+
指标系统能够帮助了解分片分发的进展， 下面列举出了支持的 Flink 指标 [Flink metrics](https://nightlies.apache.org/flink/flink-docs-master/docs/ops/metrics/):
575+
576+
| Group | Name | Type | Description |
577+
|------------------------|----------------------------|-------|----------------|
578+
| namespace.schema.table | isSnapshotting | Gauge | 表是否在快照读取阶段 |
579+
| namespace.schema.table | isStreamReading | Gauge | 表是否在增量读取阶段 |
580+
| namespace.schema.table | numTablesSnapshotted | Gauge | 已经被快照读取完成的表的数量 |
581+
| namespace.schema.table | numTablesRemaining | Gauge | 还没有被快照读取的表的数据 |
582+
| namespace.schema.table | numSnapshotSplitsProcessed | Gauge | 正在处理的分片的数量 |
583+
| namespace.schema.table | numSnapshotSplitsRemaining | Gauge | 还没有被处理的分片的数量 |
584+
| namespace.schema.table | numSnapshotSplitsFinished | Gauge | 已经处理完成的分片的数据 |
585+
| namespace.schema.table | snapshotStartTime | Gauge | 快照读取阶段开始的时间 |
586+
| namespace.schema.table | snapshotEndTime | Gauge | 快照读取阶段结束的时间 |
587+
588+
注意:
589+
Group 名称是 `namespace.schema.table`，这里的 `namespace` 是实际的数据库名称， `schema` 是实际的 schema 名称， `table` 是实际的表名称。
590+
572591
数据类型映射
573592
----------------
574593

‎docs/content.zh/docs/connectors/flink-sources/oracle-cdc.md‎

Lines changed: 19 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -614,6 +614,25 @@ public class OracleSourceExample {
614614
}
615615
```
616616
617+
### 可用的指标
618+
619+
指标系统能够帮助了解分片分发的进展， 下面列举出了支持的 Flink 指标 [Flink metrics](https://nightlies.apache.org/flink/flink-docs-master/docs/ops/metrics/):
620+
621+
| Group | Name | Type | Description |
622+
|------------------------|----------------------------|-------|----------------|
623+
| namespace.schema.table | isSnapshotting | Gauge | 表是否在快照读取阶段 |
624+
| namespace.schema.table | isStreamReading | Gauge | 表是否在增量读取阶段 |
625+
| namespace.schema.table | numTablesSnapshotted | Gauge | 已经被快照读取完成的表的数量 |
626+
| namespace.schema.table | numTablesRemaining | Gauge | 还没有被快照读取的表的数据 |
627+
| namespace.schema.table | numSnapshotSplitsProcessed | Gauge | 正在处理的分片的数量 |
628+
| namespace.schema.table | numSnapshotSplitsRemaining | Gauge | 还没有被处理的分片的数量 |
629+
| namespace.schema.table | numSnapshotSplitsFinished | Gauge | 已经处理完成的分片的数据 |
630+
| namespace.schema.table | snapshotStartTime | Gauge | 快照读取阶段开始的时间 |
631+
| namespace.schema.table | snapshotEndTime | Gauge | 快照读取阶段结束的时间 |
632+
633+
注意:
634+
Group 名称是 `namespace.schema.table`，这里的 `namespace` 是实际的数据库名称， `schema` 是实际的 schema 名称， `table` 是实际的表名称。
635+
617636
Data Type Mapping
618637
----------------
619638
<div class="wy-table-responsive">

‎docs/content.zh/docs/connectors/flink-sources/postgres-cdc.md‎

Lines changed: 19 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -538,6 +538,25 @@ public class PostgreSQLSourceExample {
538538
}
539539
```
540540

541+
### 可用的指标
542+
543+
指标系统能够帮助了解分片分发的进展， 下面列举出了支持的 Flink 指标 [Flink metrics](https://nightlies.apache.org/flink/flink-docs-master/docs/ops/metrics/):
544+
545+
| Group | Name | Type | Description |
546+
|------------------------|----------------------------|-------|----------------|
547+
| namespace.schema.table | isSnapshotting | Gauge | 表是否在快照读取阶段 |
548+
| namespace.schema.table | isStreamReading | Gauge | 表是否在增量读取阶段 |
549+
| namespace.schema.table | numTablesSnapshotted | Gauge | 已经被快照读取完成的表的数量 |
550+
| namespace.schema.table | numTablesRemaining | Gauge | 还没有被快照读取的表的数据 |
551+
| namespace.schema.table | numSnapshotSplitsProcessed | Gauge | 正在处理的分片的数量 |
552+
| namespace.schema.table | numSnapshotSplitsRemaining | Gauge | 还没有被处理的分片的数量 |
553+
| namespace.schema.table | numSnapshotSplitsFinished | Gauge | 已经处理完成的分片的数据 |
554+
| namespace.schema.table | snapshotStartTime | Gauge | 快照读取阶段开始的时间 |
555+
| namespace.schema.table | snapshotEndTime | Gauge | 快照读取阶段结束的时间 |
556+
557+
注意:
558+
Group 名称是 `namespace.schema.table`，这里的 `namespace` 是实际的数据库名称， `schema` 是实际的 schema 名称， `table` 是实际的表名称。
559+
541560
Data Type Mapping
542561
----------------
543562

‎docs/content.zh/docs/connectors/flink-sources/sqlserver-cdc.md‎

Lines changed: 19 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -409,6 +409,25 @@ public class SqlServerIncrementalSourceExample {
409409
}
410410
```
411411

412+
### 可用的指标
413+
414+
指标系统能够帮助了解分片分发的进展， 下面列举出了支持的 Flink 指标 [Flink metrics](https://nightlies.apache.org/flink/flink-docs-master/docs/ops/metrics/):
415+
416+
| Group | Name | Type | Description |
417+
|------------------------|----------------------------|-------|----------------|
418+
| namespace.schema.table | isSnapshotting | Gauge | 表是否在快照读取阶段 |
419+
| namespace.schema.table | isStreamReading | Gauge | 表是否在增量读取阶段 |
420+
| namespace.schema.table | numTablesSnapshotted | Gauge | 已经被快照读取完成的表的数量 |
421+
| namespace.schema.table | numTablesRemaining | Gauge | 还没有被快照读取的表的数据 |
422+
| namespace.schema.table | numSnapshotSplitsProcessed | Gauge | 正在处理的分片的数量 |
423+
| namespace.schema.table | numSnapshotSplitsRemaining | Gauge | 还没有被处理的分片的数量 |
424+
| namespace.schema.table | numSnapshotSplitsFinished | Gauge | 已经处理完成的分片的数据 |
425+
| namespace.schema.table | snapshotStartTime | Gauge | 快照读取阶段开始的时间 |
426+
| namespace.schema.table | snapshotEndTime | Gauge | 快照读取阶段结束的时间 |
427+
428+
注意:
429+
Group 名称是 `namespace.schema.table`，这里的 `namespace` 是实际的数据库名称， `schema` 是实际的 schema 名称， `table` 是实际的表名称。
430+
412431
Data Type Mapping
413432
----------------
414433

‎docs/content.zh/docs/connectors/pipeline-connectors/mysql.md‎

Lines changed: 19 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -343,6 +343,25 @@ source:
343343
# ...
344344
```
345345

346+
### 可用的指标
347+
348+
指标系统能够帮助了解分片分发的进展， 下面列举出了支持的 Flink 指标 [Flink metrics](https://nightlies.apache.org/flink/flink-docs-master/docs/ops/metrics/):
349+
350+
| Group | Name | Type | Description |
351+
|------------------------|----------------------------|-------|----------------|
352+
| namespace.schema.table | isSnapshotting | Gauge | 表是否在快照读取阶段 |
353+
| namespace.schema.table | isStreamReading | Gauge | 表是否在增量读取阶段 |
354+
| namespace.schema.table | numTablesSnapshotted | Gauge | 已经被快照读取完成的表的数量 |
355+
| namespace.schema.table | numTablesRemaining | Gauge | 还没有被快照读取的表的数据 |
356+
| namespace.schema.table | numSnapshotSplitsProcessed | Gauge | 正在处理的分片的数量 |
357+
| namespace.schema.table | numSnapshotSplitsRemaining | Gauge | 还没有被处理的分片的数量 |
358+
| namespace.schema.table | numSnapshotSplitsFinished | Gauge | 已经处理完成的分片的数据 |
359+
| namespace.schema.table | snapshotStartTime | Gauge | 快照读取阶段开始的时间 |
360+
| namespace.schema.table | snapshotEndTime | Gauge | 快照读取阶段结束的时间 |
361+
362+
注意:
363+
Group 名称是 `namespace.schema.table`，这里的 `namespace` 是实际的数据库名称， `schema` 是实际的 schema 名称， `table` 是实际的表名称。
364+
346365
## 数据类型映射
347366

348367
<div class="wy-table-responsive">

‎docs/content/docs/connectors/flink-sources/db2-cdc.md‎

Lines changed: 19 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -394,6 +394,25 @@ public class Db2ParallelSourceExample {
394394
}
395395
```
396396

397+
### Available Source metrics
398+
399+
Metrics can help understand the progress of assignments, and the following are the supported [Flink metrics](https://nightlies.apache.org/flink/flink-docs-master/docs/ops/metrics/):
400+
401+
| Group | Name | Type | Description |
402+
|------------------------|----------------------------|-------|-----------------------------------------------------|
403+
| namespace.schema.table | isSnapshotting | Gauge | Weather the table is snapshotting or not |
404+
| namespace.schema.table | isStreamReading | Gauge | Weather the table is stream reading or not |
405+
| namespace.schema.table | numTablesSnapshotted | Gauge | The number of tables that have been snapshotted |
406+
| namespace.schema.table | numTablesRemaining | Gauge | The number of tables that have not been snapshotted |
407+
| namespace.schema.table | numSnapshotSplitsProcessed | Gauge | The number of splits that is being processed |
408+
| namespace.schema.table | numSnapshotSplitsRemaining | Gauge | The number of splits that have not been processed |
409+
| namespace.schema.table | numSnapshotSplitsFinished | Gauge | The number of splits that have been processed |
410+
| namespace.schema.table | snapshotStartTime | Gauge | The time when the snapshot started |
411+
| namespace.schema.table | snapshotEndTime | Gauge | The time when the snapshot ended |
412+
413+
Notice:
414+
The group name is `namespace.schema.table`, where `namespace` is the actual database name, `schema` is the actual schema name, and `table` is the actual table name.
415+
397416
Data Type Mapping
398417
----------------
399418

‎docs/content/docs/connectors/flink-sources/mongodb-cdc.md‎

Lines changed: 19 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -563,6 +563,25 @@ CREATE TABLE mongodb_source (...) WITH (
563563
)
564564
```
565565

566+
### Available Source metrics
567+
568+
Metrics can help understand the progress of assignments, and the following are the supported [Flink metrics](https://nightlies.apache.org/flink/flink-docs-master/docs/ops/metrics/):
569+
570+
| Group | Name | Type | Description |
571+
|------------------------|----------------------------|-------|-----------------------------------------------------|
572+
| namespace.schema.table | isSnapshotting | Gauge | Weather the table is snapshotting or not |
573+
| namespace.schema.table | isStreamReading | Gauge | Weather the table is stream reading or not |
574+
| namespace.schema.table | numTablesSnapshotted | Gauge | The number of tables that have been snapshotted |
575+
| namespace.schema.table | numTablesRemaining | Gauge | The number of tables that have not been snapshotted |
576+
| namespace.schema.table | numSnapshotSplitsProcessed | Gauge | The number of splits that is being processed |
577+
| namespace.schema.table | numSnapshotSplitsRemaining | Gauge | The number of splits that have not been processed |
578+
| namespace.schema.table | numSnapshotSplitsFinished | Gauge | The number of splits that have been processed |
579+
| namespace.schema.table | snapshotStartTime | Gauge | The time when the snapshot started |
580+
| namespace.schema.table | snapshotEndTime | Gauge | The time when the snapshot ended |
581+
582+
Notice:
583+
The group name is `namespace.schema.table`, where `namespace` is the actual database name, `schema` is the actual schema name, and `table` is the actual table name.
584+
566585
Data Type Mapping
567586
----------------
568587
[BSON](https://docs.mongodb.com/manual/reference/bson-types/) short for **Binary JSON** is a binary-encoded serialization of JSON-like format used to store documents and make remote procedure calls in MongoDB.

0 commit comments

Comments
 (0)