Skip to content

[EXPORTER] 支援寫入 metadata 在備份文件尾部 #1830

@Haser0305

Description

@Haser0305

exporter 在未來可以支援壓縮備份的功能,因此需要有 metadata 的搭配可以判斷檔案類型,並且供未來的 importer 可以靠 metadata 增加更多功能的可能性。

以目前的 exporter 架構來說,比較不方便在創建 recordWriter 的時候帶上一些額外資訊,如 connector name, compression type 等資料,並且 outputStream 的傳遞如果是在有壓縮的狀況下,會不好處理針對 metadata 不壓縮寫入的處理。

預計包含的 metadata

  • connector name:如果不同次備份內容混淆,可以依照此區分
  • topic partition 資訊:輔助上述功能
  • 1st record offset: 可以讓檔名與 offset 脫鉤
  • 1st record timestamp:與上面功能差不多,並且如果未來有需要還原時快速判斷檔案是否需要,可以用到
  • record count:紀錄檔案中包含多少筆資料
  • roll.duration:可以知道此檔案所包含的時間區間大概有多長
  • compression type:壓縮演算法名稱

預計達到的目標

  • 支援創建 recordWriter 可以帶上額外資訊
  • 針對壓縮的要求,盡量減少在同一時間針對同一檔案開啟的 outputStream 以避免佔用多餘的連線數,以降低效能

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type
    No fields configured for issues without a type.

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions