BigQuery 数据传输服务新增单表粒度进度与错误查看能力
BigQuery 数据传输服务现在支持单表粒度错误与进度查看,这个能力解决了之前整批传输任务只能看到整体状态、分不清是哪一张表同步失败或者卡住的痛点,很多同步任务一次会同步几十上百张表,经常出现任务整体标记失败,但很难快速定位到异常表,排查耗时很久。该功能上线之后,不管是控制台、bq 命令行还是 API,都可以在一次传输运行记录里面,展开查看每一张目标表独立的同步状态、已同步行数、失败原因、报错详情,不用再去翻大量日志筛选信息。日常使用的时候,先打开对应传输任务的执行历史,选中某一次运行记录,就能看到表级清单,对异常表单独处理,不用把整套同步任务全部重跑,最终可以大幅缩短多表同步场景下的故障定位和恢复时间。
功能适用范围清单
- 支持源端:Cloud Storage、MySQL、PostgreSQL、S3 等主流数据源的传输任务
- 查看维度:单张表同步进度、单表状态、单表报错信息
- 查看入口:Google Cloud 控制台、bq CLI 命令、BigQuery DTS API、日志浏览器
- 状态标识:PENDING 等待、RUNNING 同步中、SUCCEEDED 成功、FAILED 失败、CANCELLED 取消
控制台查看步骤
- 进入 Google Cloud 控制台,打开 BigQuery 数据传输服务页面
- 在传输列表选中需要查看的传输配置
- 切换到
- 在详情页展开表级明细列表,查看每张表的进度和错误信息
- 针对 FAILED 状态的表,点开错误详情,获取报错文本、字段不匹配、权限等信息
【执行历史】标签,点进某一次传输运行记录
bq 命令行查看方式
查看某次传输运行内的表级日志与明细,核心命令示例:
bq ls --transfer_log run_name
可以搭配--message_type过滤错误类日志,快速筛选单表报错。
典型使用收益表格
| 场景 | 旧能力 | 新增单表粒度查看能力 |
|---|---|---|
| 多表批量同步故障排查 | 只能看到任务整体失败,需要检索大量日志定位表 | 直接清单定位失败表,附带错误描述 |
| 部分表同步失败恢复 | 通常需要全量重跑整套任务 | 只单独重试失败的表,成功表跳过 |
| 同步进度监控 | 只能知道任务有没有跑完 | 直观看到哪些表还在同步、哪些已经完成 |
注意事项
- 传输执行记录默认保留 90 天,超过时间的运行记录和单表明细会自动清理
- 不是所有传输类型都完整支持该能力,以 Google 官方文档最新说明为准
- 单表报错信息受源端权限、网络、Schema 结构、数据格式影响,仅做排查参考
【相关 FAQ】
问题 1:BigQuery 数据传输服务单表粒度错误与进度查看,能看到哪些信息?
回答 1:BigQuery 数据传输服务单表粒度错误与进度查看,可以看到每张表独立同步状态、同步进度、同步行数、单表对应的错误信息,方便快速定位多表同步里异常的表。
问题 2:在哪里开启和使用 BigQuery 数据传输服务单表粒度错误与进度查看?
回答 2:不需要额外开启开关,配置好 BigQuery 数据传输任务之后,在传输执行历史详情页面、bq 命令行或者 DTS API 里,直接就能调用单表粒度错误与进度查看能力。
问题 3:BigQuery 数据传输服务单表粒度错误与进度查看查到表失败之后,必须重跑整个传输任务吗?
回答 3:不需要,借助 BigQuery 数据传输服务单表粒度错误与进度查看定位到失败表之后,一般只需要单独重试这张异常表,已经同步成功的表不用重复传输。
【参考资料】
[2026-11-11](管理 BigQuery 数据传输任务)Google Cloud 官方文档
[2026-10-29](BigQuery 数据传输日志查看)Google Cloud 官方文档
[2026-09-05](BigQuery 数据传输故障排查)Google Cloud 官方文档
【免责声明】
本文仅为技术资讯整理,BigQuery 数据传输服务单表粒度错误与进度查看功能的支持范围、可用数据源、保留周期、操作方式以 Google Cloud 官方文档为准;功能可能存在区域灰度、版本差异,不保证所有项目和传输类型均可生效,不构成生产落地承诺。
相关阅读
- Perplexity Max 订阅用户 Mac 应用新增 Teammates 功能
- 苹果入局 AI 眼镜赛道,新款 AI 眼镜支持翻译导航语音叫外卖
- 《GTA6》通关时长爆料主线 50 小时、白金成就预估 200 小时解析
- 三星美国扩产奥斯汀工厂,为 SpaceX 代工星链卫星芯片
- 苹果折叠屏补齐短板iPhone Duo 2 原型机搭载 Face ID 信息解读
- 三星、SK 海力士撤诉申请被驳回,人为制造 DRAM 短缺反垄断诉讼进入实质审理解读
- 闻泰回应荷兰最高 23 亿罚金裁定,明确拒绝强制出售安世股权
- Google Cloud Certificate Manager 第二代预览版上线,跨环境 TLS 证书统一管理功能解读
-
yesterday 是英语高频基础副词名词,核心意思是昨天,也可以引申表示不久之前 往昔,这个单词是小学初中英语...浏览全文>>
-
Perplexity 正式给 Mac 端 App 上线 Teammates 智能体功能,该功能只开放给 Max 订阅用户使用,之前 Teammates 仅支持网页端和 浏览全文>>
-
刚挤出来的生牛奶含有大量细菌,比如布鲁氏菌 大肠杆菌 结核杆菌,绝对不能直接生吃,最稳妥家庭做法是低温...浏览全文>>
-
大连比较有特色的小吃街主要集中在市中心和滨海周边 整体风格以海鲜小吃 东北风味 日韩特色小吃为主 因为...浏览全文>>
-
核心结论是联想 Y50 是联想 Y 系列老款游戏本,全称联想 Y50,属于当年主流大屏游戏笔记本,主打 15 6...浏览全文>>
-
做包子核心分为两大板块 一是发面面皮配方 二是包子馅调制 面皮成功标准是洁白暄软 蒸完不塌陷不回缩 包...浏览全文>>
-
xxxl 也就是加加加大码,属于成人服装里面的大码档位,常规国内男装 xxxl 一般适配身高 185 至 190 厘...浏览全文>>
-
苹果正式推出 AI 眼镜相关产品规划,这款代号 N50 的 AI 眼镜主打 Siri 语音交互,能做实时翻译、路线...浏览全文>>
-
目前曝光的《GTA6》时长信息显示,只专心推进主线剧情不怎么碰支线和收集内容,平均通关时长大约 50 小时,...浏览全文>>
-
这次网传砸 126 亿给 SpaceX 造芯片,实际是三星计划拿出约 19 亿美元(折合人民币约 127 亿,也就是...浏览全文>>
- Perplexity Max 订阅用户 Mac 应用新增 Teammates 功能
- 苹果折叠屏补齐短板iPhone Duo 2 原型机搭载 Face ID 信息解读
- WTO 的含义 世界贸易组织深度解析
- Google Cloud Knowledge Catalog 通用上下文引擎上线,给 AI 智能体提供企业可信上下文
- wps 怎么加下划线 文字下划线添加方法
- WPS 文字怎么设置页边距 页面排版调整教程
- 游戏行业收购魔咒收购不等于直接判死刑,但多数工作室后续会衰落
- WORD 文档一般用什么字体 办公排版选用指南
- wolf 词语解释 wolf 的复数 名词变格考点精讲
- 电子显示屏上面的字幕怎么改 编辑上传教程
- yesterday 英文单词释义深度讲解
- xxxl 是多大码 服装尺码详细参数说明
- 营销策划 完整模块深度解析
- 苹果 18 Pro 系列国内首周狂卖百万台,争议越大销量越高
- 美国火神火箭发射失败,亚马逊 40 颗卫星全部报废事件详情
- 陶瓷折叠水果刀能带上火车吗 安检规定详解
- DSPy 推出 dspy-wsp 权重空间优化器原型
- 斯坦福 NLP 提出本地主动智能体深度个性化方案,依靠持续上下文观测闭环自适配
- Chris Potts依靠 logits 和文本样本就能反推模型训练数据顺序
- 墙面空鼓允许范围一般在多少 装修验房规范讲解
- 镇江咸鹅怎么吃才好吃 四种地道吃法
- BLG 完成一穿四拿下 S 赛冠军,网友称这是最好的青春售后
- wpsoffice 全套自学教程 从零到精通学习路线
- Win11 免硬件升级提速技巧,老电脑谨慎使用
- 波司登王力宏同款高端羽绒服只卖出 16 件,广告造型被网友吐槽穿搭太雷霆
- wishes 的用法句型 句型精讲
- 菜鲟的做法 菜鲟怎么做才好吃 家常教程
- window10 怎么激活教程 正版授权操作详解
- 男子退掉出租房,花 7000 元改造 SUV 床车,夜间在公司停车场过夜
- 微软年度收官补丁Win11 下月更新界面现代化,搜索速度大幅提升
