首页 >> 综合 > 快讯 >

BigQuery、Dataform 上线全新文件夹管理功能

2026-11-07 08:51:30 来源:网易 编辑:石胜炎 

BigQuery 和 Dataform 现在正式新增文件夹功能,开发者和数据工程师可以把 SQL 脚本、表定义、断言、数据资产放到文件夹里归类管理,解决之前项目里文件混杂、查找困难的痛点,这次更新同时覆盖 BigQuery 资源视图以及 Dataform 的代码仓库界面,团队多人协作维护大型数据项目的时候会省心不少。之前很多人在用这套工具做数仓建模,随着项目越来越大,脚本、模型、测试文件堆在一起,找人维护、做权限分组都很麻烦,谷歌这次加上文件夹,就是为了提供层级收纳能力,方便按业务域、数据分层、迭代版本来组织资源。想要用上 BigQuery 与 Dataform 的文件夹功能,不需要额外开通付费组件,只要把项目界面刷新到最新,就可以新建文件夹、移动资源、设置文件夹级别的权限;后续大家可以按照自己团队的数仓规范来划分目录,让整个 Dataform 项目结构更规整。

  • 文件夹功能支持的资源类型
  • 文件夹核心能力清单
资源类型是否支持移入文件夹备注
Dataform SQLX 模型✅最常用,支持批量移动
断言(Assertions)✅数据质量校验脚本
声明式表定义✅包含视图、物化视图
操作脚本(Operations)✅一次性执行任务
BigQuery 数据集✅在 BigQuery 资源面板归类
发布的表实例❌物理表本身不能移动进文件夹
  1. 多级目录:支持嵌套子文件夹,搭建多层业务目录
  2. 批量迁移:多选文件,一键移入目标文件夹
  3. 文件夹级 IAM:可以单独给文件夹分配查看、编辑权限
  4. 重命名与移动:随时调整目录结构,路径自动适配
  5. 界面筛选:支持按文件夹过滤资源,快速定位脚本
  • 上手操作流程
  1. 打开 Dataform Web 界面或者 BigQuery 控制台,刷新页面加载新功能
  2. 在资源侧边栏找到新建文件夹按钮,命名并规划目录结构
  3. 选中现有脚本、模型,拖拽或者菜单操作移入对应文件夹
  4. 如果是团队项目,进入权限面板,为不同文件夹配置成员权限
  5. 提交代码,确认 Dataform 编译、发布流程不受目录改动影响

【相关 FAQ】

问题 1:BigQuery 与 Dataform 新增的文件夹功能需要额外付费吗?

回答 1:BigQuery 与 Dataform 新增的文件夹功能属于原生界面管理能力,不需要额外付费,只要正常使用对应的 Google Cloud 项目就可以启用。

问题 2:Dataform 里把模型放进文件夹,会不会影响 BigQuery 最终生成的数据表?

回答 2:不会,Dataform 的文件夹只是代码层面的组织方式,修改文件存放目录不会改变 BigQuery 里面最终生成表的名称、数据集位置。

问题 3:能不能通过 Dataform API 操作 BigQuery、Dataform 的文件夹?

回答 3:现阶段文件夹主要支持控制台界面操作,如果要自动化管理,需要查阅官方文档确认对应 API 是否同步支持文件夹资源。

【参考资料】

[2026-11-06](BigQuery 与 Dataform 新增文件夹功能,优化数据资产组织)InfoQ

[2026-11-06](Google Cloud 为 Dataform 和 BigQuery 带来文件夹层级管理)Google Cloud 开发者社区

【免责声明】

本内容基于公开技术资讯整理,BigQuery、Dataform 文件夹功能的可用范围、API 支持、权限细节,以 Google Cloud 官方文档和控制台实际功能为准,功能可能存在分阶段灰度推送。

 
最新文章