Airbyte:源表加了一列,要同步结构还是补齐历史?
用两条虚构记录判断新列能否自动传播,以及旧值何时必须补。
来源: airbyte.com
2026年8月24日
2 min
Airbyte 官方在 2026 年 6 月更新的文章说明,可在连接层定义源结构变更如何传播。对不参与指标的新列,可能只需通知或先保留现状;若下游要按它解释旧记录,新增字段与补齐历史是两件事。官方文档也区别同步时检测到变更和之后的处理,不能假定每个连接或目标都自动补旧值。
用两行验收
不用接数据库,在本地纸面或合成表里造两行 A、B,以 ID 为键。源增加 color,历史值是 A=TEAL、B=AMBER;添加字段后目的端两行都空。下一轮只有 A 被重新读到,目的端成 A=TEAL、B 仍空。若报告要回看历史,这不合格,尽管两边仍各有两行。计划补回 B 后按 ID 比对值,不能把空值一概解释为无颜色。

原创对账示意,不是 Airbyte 输出。三份快照行数相同,不能单看行数。
把历史覆盖写进验收
先核查所选连接器、同步模式与目标对新增列和回填的支持,记录列定义、每键行数、覆盖的历史时间段和已知空值。两行、无重复键、颜色与源一致才通过;重复 A 或空的 B 要停下,先查是否只捕捉到新数据。历史不是需求时,可把新列用于生效日以后的数据并注明覆盖;历史是需求时,先估补跑耗时和下游重算,回填范围不可验证就宁可先人工审查再传播。
内容说明:本文基于公开资料整理,仅供工具选型参考。产品功能、价格及相关政策可能随时调整,请以官方最新信息为准。
原文出处:airbyte.com