分类分类
关注+2024-04-08作者:学臣
4月7日 消息:谷歌 DeepMind 发布了一种名为 Gecko 的文本嵌入模型,专注于文档检索、语义相似度和分类等多种任务。文本嵌入模型在自然语言处理中扮演着重要角色,通过将文本转换为高维向量空间中的向量表示,实现捕捉文本的语义信息。
Gecko 通过从 LLM 中提炼知识,然后融入到检索器中,实现了强大的检索性能。在大规模文本嵌入基准上,具有256个嵌入维度的 Gecko 表现优异,超越了具有768个嵌入尺寸的现有模型。
该研究为多个任务创建了通用嵌入模型,利用 LLM 生成的合成数据集 FRet 进行训练,并得到 LLM 的支持。
研究结果显示,Gecko 在与大7倍模型和5倍高维嵌入进行比较时,取得了相竞争的结果。Gecko 的出现为改善信息检索系统提供了一种强大的替代方案,同时在分类、STS 和摘要方面也达到了新的 SOTA 水平。
相关文章
更多+相同厂商
热门推荐
点击查看更多
点击查看更多
点击查看更多
说两句网友评论