DeepMind发布Gecko:专注于文档检索 性能媲美大7倍模型

4月7日 消息:谷歌 DeepMind 发布了一种名为 Gecko 的文本嵌入模型，专注于文档检索、语义相似度和分类等多种任务。文本嵌入模型在自然语言处理中扮演着重要角色，通过将文本转换为高维向量空间中的向量表示，实现捕捉文本的语义信息。

Gecko 通过从 LLM 中提炼知识，然后融入到检索器中，实现了强大的检索性能。在大规模文本嵌入基准上，具有256个嵌入维度的 Gecko 表现优异，超越了具有768个嵌入尺寸的现有模型。

该研究为多个任务创建了通用嵌入模型，利用 LLM 生成的合成数据集 FRet 进行训练，并得到 LLM 的支持。

研究结果显示，Gecko 在与大7倍模型和5倍高维嵌入进行比较时，取得了相竞争的结果。Gecko 的出现为改善信息检索系统提供了一种强大的替代方案，同时在分类、STS 和摘要方面也达到了新的 SOTA 水平。