理应资讯
软件研发智能化

BigQuery ObjectRef 正式可用:用 SQL 直接让 Gemini 处理云存储里的图片、音频与文档

理应编辑室 ·

Google Cloud 宣布 BigQuery 的 ObjectRef 与多模态数据分析正式可用:非结构化文件以 ObjectRef 列与普通列同表存放,可在一条 SQL 中把多模态输入交给 Gemini,并新增个人凭据访问和数组支持。

Google Cloud 10 月 21 日宣布,BigQuery 的 ObjectRef 与多模态数据分析能力进入正式可用(GA)阶段,适用于所有 BigQuery 版本和按需计费层级。Google 将其定位为让 BigQuery 成为“多模态智能体数据平台”的关键一步。

过去,数据团队要分析图片、视频、音频和文档,通常要维护结构化与非结构化两套数据管道:即使文件就放在 Cloud Storage,跑推理也得另起外部机器学习任务,再把结果拼回数仓。ObjectRef 是 BigQuery 内置的一种 STRUCT 类型,用于指向 BigQuery 之外的对象(包含 uri、authorizer、version 和元数据等字段),可以和普通关系列放在同一张表里。这样就能在一条 SQL 或一次对话式分析查询中,把多列、多模态的输入一起交给 Gemini 模型。

Google 列出的几项要点包括:文件留在 Cloud Storage、零拷贝查询;可在 SQL 或 BigQuery DataFrames 中使用,也能传入 Python UDF 调用 OpenCV 等开源库;ObjectRef 记录 GCS 的版本号,文件变更后查询仍能引用写入时的那个版本,保证推理可复现;结构化列与关联文件共用 BigQuery 的安全策略和 IAM 管控。

GA 版本新增三项能力:

  • 支持最终用户凭据(EUC),用户可直接用个人 IAM 身份做临时探索,生产管道仍建议使用服务账号连接;
  • 统一支持多种元数据来源,包括 BigQuery 对象表、Cloud Storage insights 数据集以及普通表中的 URI 字符串;
  • 支持 ObjectRef 数组,可在一次调用里对比多份文档、分析图片序列。
flowchart LR
  A[Cloud Storage<br/>音频/图片/文档] -->|OBJ.MAKE_REF| B[BigQuery 表<br/>ObjectRef 列+业务列]
  B --> C[AI.CLASSIFY / AI.IF / AI.GENERATE]
  C --> D[结构化标签<br/>供 BI 与筛选]
  B --> E[对话式分析智能体<br/>必要时回看原文件]

官方示例展示了三类用法:用 AI.CLASSIFY() 给客服通话录音分类,生成的表可作为对话式分析智能体的数据源;在 WHERE 子句里用 AI.IF() 按商品图片内容筛出疑似违规商品;把官方登录页截图和可疑页面截图作为数组一起交给 Gemini,比对判断钓鱼页面。Google 还引用了 Snap 的做法:借助 ObjectRef 与 BigQuery AI,把内容抽检从简单随机抽样改为后分层抽样,提升人工审核效率。对数据工程团队来说,这意味着非结构化数据的抽取、标注和回填可以沿用熟悉的 SQL 管道实践,但按量调用模型的成本与准确性仍需按业务评估。

# BigQuery# ObjectRef# 多模态分析# Gemini# 数据工程