通过百炼API调用将多种模态转换为向量_向量检索服务 DashVector(DashVector)-阿里云帮助中心

本文介绍如何通过大模型服务平台百炼进行多模态向量生成，并入库至向量检索服务DashVector中进行向量检索。

百炼通过灵活、易用的模型API服务，让各种模态模型的能力，都能方便地为AI开发者所用。通过百炼API，开发者不仅可以直接集成大模型的强大能力，也可以对模型进行训练微调，实现模型定制化。

前提条件

DashVector：
- 已创建Cluster：创建Cluster。
- 已获得API-KEY：API-KEY管理。
- 已安装最新版SDK：安装DashVector SDK。
百炼：
- 已开通服务并获得API-KEY：获取API Key和配置API Key到环境变量。
- 已安装最新版SDK：安装SDK。

通用多模态向量

简介

模型根据用户的输入生成连续向量，这些输入可以是文本、图片或视频，文件格式详情请参照调用限制。适用于视频分类、图像分类、图文检索等任务场景。

模型名称	数据类型	向量维度	单价	免费额度（注）	限流
multimodal-embedding-v1	float(32)	1,024	免费试用	无加权条目数限制	每分钟调用限制（RPM）：120

调用限制

通用多模态向量API使用过程中存在以下输入类型与格式限制：

输入类型	语种/格式限制	长度/大小限制
文本	中/英文	512个Token, 超过512Token长度的文本内容将会被截断
图片	JPG、PNG、BMP	支持以Base64格式或URL形式输入。可接受的图片大小上限为 3MB
视频	MP4、MPEG、MPG、WEBM、AVI、FLV、MKV、MOV	可接受的视频大小上限为 10MB

说明

关于多模态向量更多信息请参考：多模态向量。

使用示例

说明

需要进行如下替换代码才能正常运行：

DashVector api-key替换示例中的{your-dashvector-api-key}
DashVector Cluster Endpoint替换示例中的{your-dashvector-cluster-endpoint}
DashScope api-key替换示例中的{your-dashscope-api-key}

Python

import dashscope
from dashvector import Client


dashscope.api_key = '{your-dashscope-api-key}'


# 调用DashScope multimodal-embedding-v1模型，将各种模态素材embedding为向量
def generate_embeddings(text: str = None, image: str = None, video: str = None):
    input = []
    if text:
        input.append({'text': text})
    if image:
        input.append({'image': image})
    if video:
        input.append({'video': video})
    result = dashscope.MultiModalEmbedding.call(
        model="multimodal-embedding-v1",
        input=input
    )
    if result.status_code != 200:
        raise Exception(f"multimodal-embedding-v1 failed to generate embedding of {input}, result: {result}")
    return result.output["embeddings"][0]["embedding"]

# 创建DashVector Client
client = Client(
    api_key='{your-dashvector-api-key}',
    endpoint='{your-dashvector-cluster-endpoint}'
)

#  创建DashVector Collection
rsp = client.create('multimodal-embedding', 1024)
assert rsp
collection = client.get('multimodal-embedding')
assert collection

#  向量入库DashVector
collection.insert(
    [
        ('ID1', generate_embeddings(text='阿里云向量检索服务DashVector是性能、性价比具佳的向量数据库之一')),
        ('ID2', generate_embeddings(image='https://dashscope.oss-cn-beijing.aliyuncs.com/images/256_1.png')),
        ('ID3', generate_embeddings(video='https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20250107/lbcemt/new+video.mp4')),
        ('ID4', generate_embeddings(
            text='阿里云向量检索服务DashVector是性能、性价比具佳的向量数据库之一',
            image='https://dashscope.oss-cn-beijing.aliyuncs.com/images/256_1.png',
            video='https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20250107/lbcemt/new+video.mp4'
        ))
    ]
)
# 向量检索
docs = collection.query(
    generate_embeddings(text='The best vector database')
)
print(docs)

前提条件

通用多模态向量

简介

调用限制

使用示例

相关最佳实践