首页 >> 综合 > 快讯 >

BigQuery 数据传输服务新增单表粒度进度与错误查看能力

2026-11-16 06:11:00 来源:网易 编辑:寿波薇 

BigQuery 数据传输服务现在支持单表粒度错误与进度查看,这个能力解决了之前整批传输任务只能看到整体状态、分不清是哪一张表同步失败或者卡住的痛点,很多同步任务一次会同步几十上百张表,经常出现任务整体标记失败,但很难快速定位到异常表,排查耗时很久。该功能上线之后,不管是控制台、bq 命令行还是 API,都可以在一次传输运行记录里面,展开查看每一张目标表独立的同步状态、已同步行数、失败原因、报错详情,不用再去翻大量日志筛选信息。日常使用的时候,先打开对应传输任务的执行历史,选中某一次运行记录,就能看到表级清单,对异常表单独处理,不用把整套同步任务全部重跑,最终可以大幅缩短多表同步场景下的故障定位和恢复时间。

功能适用范围清单

  • 支持源端:Cloud Storage、MySQL、PostgreSQL、S3 等主流数据源的传输任务
  • 查看维度:单张表同步进度、单表状态、单表报错信息
  • 查看入口:Google Cloud 控制台、bq CLI 命令、BigQuery DTS API、日志浏览器
  • 状态标识:PENDING 等待、RUNNING 同步中、SUCCEEDED 成功、FAILED 失败、CANCELLED 取消

控制台查看步骤

  1. 进入 Google Cloud 控制台,打开 BigQuery 数据传输服务页面
  2. 在传输列表选中需要查看的传输配置
  3. 切换到
  4. 在详情页展开表级明细列表,查看每张表的进度和错误信息
  5. 针对 FAILED 状态的表,点开错误详情,获取报错文本、字段不匹配、权限等信息

【执行历史】标签,点进某一次传输运行记录

bq 命令行查看方式

查看某次传输运行内的表级日志与明细,核心命令示例:

bq ls --transfer_log run_name

可以搭配--message_type过滤错误类日志,快速筛选单表报错。

典型使用收益表格

场景旧能力新增单表粒度查看能力
多表批量同步故障排查只能看到任务整体失败,需要检索大量日志定位表直接清单定位失败表,附带错误描述
部分表同步失败恢复通常需要全量重跑整套任务只单独重试失败的表,成功表跳过
同步进度监控只能知道任务有没有跑完直观看到哪些表还在同步、哪些已经完成

注意事项

  • 传输执行记录默认保留 90 天,超过时间的运行记录和单表明细会自动清理
  • 不是所有传输类型都完整支持该能力,以 Google 官方文档最新说明为准
  • 单表报错信息受源端权限、网络、Schema 结构、数据格式影响,仅做排查参考

【相关 FAQ】

问题 1:BigQuery 数据传输服务单表粒度错误与进度查看,能看到哪些信息?

回答 1:BigQuery 数据传输服务单表粒度错误与进度查看,可以看到每张表独立同步状态、同步进度、同步行数、单表对应的错误信息,方便快速定位多表同步里异常的表。

问题 2:在哪里开启和使用 BigQuery 数据传输服务单表粒度错误与进度查看?

回答 2:不需要额外开启开关,配置好 BigQuery 数据传输任务之后,在传输执行历史详情页面、bq 命令行或者 DTS API 里,直接就能调用单表粒度错误与进度查看能力。

问题 3:BigQuery 数据传输服务单表粒度错误与进度查看查到表失败之后,必须重跑整个传输任务吗?

回答 3:不需要,借助 BigQuery 数据传输服务单表粒度错误与进度查看定位到失败表之后,一般只需要单独重试这张异常表,已经同步成功的表不用重复传输。

【参考资料】

[2026-11-11](管理 BigQuery 数据传输任务)Google Cloud 官方文档

[2026-10-29](BigQuery 数据传输日志查看)Google Cloud 官方文档

[2026-09-05](BigQuery 数据传输故障排查)Google Cloud 官方文档

【免责声明】

本文仅为技术资讯整理,BigQuery 数据传输服务单表粒度错误与进度查看功能的支持范围、可用数据源、保留周期、操作方式以 Google Cloud 官方文档为准;功能可能存在区域灰度、版本差异,不保证所有项目和传输类型均可生效,不构成生产落地承诺。

 
最新文章