原生，运转！

刚刚，谷歌发布了首个原生多模态（Multimodal）镶嵌模子——

Gemini Embedding 2。

此次模子最大的变化在于：把文本、图像、视频、音频和文档，全部映射进消失个斡旋的镶嵌空间。

换句话说，不同序论的数据第一次被放进消失个语义坐标系里。

在输入智力上，Gemini Embedding 2 相沿多种数据类型：

文本：相沿最多 8192 个 token

图像：每次肯求最多处理 6 张图像，相沿 PNG 和 JPEG

视频：相沿最长 120 秒的视频输入，式样为 MP4 和 MOV

音频：原生镶嵌音频数据，无需中间文本转录

文档：可径直镶嵌最多 6 页的 PDF

此外，模子不仅不错处理单一模态，还相沿多模态羼杂输入（举例图像 + 文本）。

这意味着模子不错捕捉不同媒体之间的复杂语义相关，从而更准确地交融现实宇宙中的信息。

在评测方面，Gemini Embedding 2 不仅举座性能较上一代擢升，同期也为多模态镶嵌任务成就了新的性能基准。

一方面增强了语音处明智力，另一方面也在文本、图像和视频任务中均特殊现存进步模子，圆寂 SOTA。

乍看之下，这似乎仅仅一次底层的数据工程升级。

但现实上，它正为像龙虾这么的 AI Agent 真实"看懂"宇宙，提供了要害基础。

现在，Gemini Embedding 2 仍是通过 Gemini API 和 Vertex AI 张开公测。

镶嵌模子（Embedding Model）实质上是把数据改动为茁壮向量默示。

在这个向量空间中，语义同样的数据会彼此围聚，不同样的数据则距离更远。

传统的镶嵌模子主要针对文本。

举例，在谷歌此前的论文《Gemini Embedding: Generalizable Embeddings from Gemini》中——

Gemini Embedding 通过在大说话模子参数中已有的海量常识基础上构建表征，并将得来的镶嵌用于：语义检索、文本聚类、分类，排序等下流任务。

但这只停留在翰墨阶段。

最新的 Gemini Embedding 2，则初次透顶买通了多模态数据。

文本、图片、视频、音频和文档，都被压缩到消失个向量空间之中。

而这，就意味着模子圆寂了"跨模态语义对都"，梗概让猫这个「翰墨想法」与猫的相片这个「视觉想法」，在斡旋的镶嵌空间中的数学向量的距离相称接近。

庸俗来说，三公当你搜索"猫"的时辰，系统不仅能找到关联翰墨，还能径直找到猫的图片、视频以至声息。

也正因为如斯，好多正本复杂的多模态历程不错被大幅简化。

从RAG 检索、语义搜索、情感分析，到数据聚类等行使场景，都能直收受益。

更紧要的是，这类智力对 AI Agent 道理浩大。

往常的 Agent 在操作电脑时，不时只可依赖翰墨信息。

举例识别按钮上的"成就""阐发"等标签。但真实宇宙的 UI 界面，无数信息其实来自视觉结构：

图标、布局、样子、控件位置，恰是传统文本镶嵌模子难以处理的部分。

而有了多模态镶嵌之后，情况就不同了。

关于像OpenClaw（龙虾）这么需要操作电脑，识别屏幕的 Agent 来说，它不再仅仅识别翰墨。

它不错径直交融：哪个像素区域是成就图标、哪个按钮与面前任务最关联，屏幕截图与文本辅导之间的相关

换句话说，Gemini Embedding 2 提供了一条斡旋的感官总线。视觉、听觉与文本信息，都能在消失个语义空间中进行关联。

这也为改日 Agent 真实交融屏幕、交融环境并代替东谈主类操作电脑，奠定了最紧要的语义基础。

在时刻层面，Gemini Embedding 2 连接选拔Matryoshka Representation Learning（MRL） 。

{jz:field.toptypename/}

这种法子允许镶嵌向量在保抓语义信息的同期进动作态维度缩减。

（注：MRL 强制模子把最中枢、最要害的特征压缩在向量的前几十维里，次要的特征放在后头，这让路发者不错证据预算和算力，解放决定信息密度的区分管理）

Gemini Embedding 2 的默许输出维度为 3072 维，但劝诱者不错证据需求缩减，举例：3072 维、1536 维、768 维，从而在性能与存储资本之间赢得均衡。

除了相沿 API 调用外，Gemini Embedding 2 也相沿通过 LangChain、LlamaIndex、Haystack、Weaviate、QDrant、ChromaDB 和 Vector Search 等器具调用。

通过为不同类型的数据赋予斡旋的语义默示，Gemini Embedding 2 正在为下一代 AI 行使：多模态 Agent，乃至具身智能机器东谈主提供要害基础门径。

参考聚首

[ 1 ] https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-embedding-2/

[ 2 ] https://arxiv.org/pdf/2503.07891

一键三连「点赞」「转发」「着重心」

接待在评述区留住你的思法！

客服QQ：88888888

—  完  —

� �  今天，你养虾了吗？

接待加入【龙虾养成洽商组】，悉数换取养虾教悔！扫码添加小助手加入社群，铭刻备注【OPENCLAW】哦～

一键关怀 � � 点亮星标

科技前沿发达逐日见

• 谷歌
• 真钱三公
• 看懂
• 屏幕
• 龙虾