向量检索服务DashVector的数据类型定义_向量检索服务(VRS)-阿里云帮助中心

本文介绍向量检索服务DashVector的数据类型定义。

Doc

Python

@dataclass(frozen=True)
class Doc(object):
    id: str                                                # 主键
    vector: Union[List[int], List[float], np.ndarray]      # 向量数据
    vectors: Optional[Dict[str, VectorValueType]] = None   # 多向量数据
    sparse_vector: Optional[Dict[int, float]] = None       # 稀疏向量数据
    fields: Optional[FieldDataType] = None                 # Doc自定义字段
    score: float = 0.0                                     # 向量相似度

Java

@Data
@Builder
public class Doc {
  // 主键
  @NonNull private String id;
  // 向量数据
  @NonNull private Vector vector;
  // 稀疏向量数据
  private TreeMap<Integer, Float> sparseVector;
  // 文档自定义字段
  @Builder.Default private Map<String, Object> fields = new HashMap<>();
  // 向量相似度
  private float score;
  // 多向量数据
  @Singular
  private Map<String, Vector> vectors;


  public void addField(String key, String value) {
    this.fields.put(key, value);
  }

  public void addField(String key, Integer value) {
    this.fields.put(key, value);
  }

  public void addField(String key, Float value) {
    this.fields.put(key, value);
  }

  public void addField(String key, Boolean value) {
    this.fields.put(key, value);
  }
}

DocOpResult

Python

@dataclass(frozen=True)
class DocOpResult(object):
    doc_op: DocOp
    id: str
    code: int
    message: str

Java

@Getter
@Builder
@AllArgsConstructor
@NoArgsConstructor
public class DocOpResult implements Serializable {
  @JsonProperty("doc_op")
  private com.aliyun.dashvector.proto.DocOpResult.DocOp docOp;

  private String id;
  private int code;
  private String message;

  public DocOpResult(com.aliyun.dashvector.proto.DocOpResult docOpResult) {
    this.docOp = docOpResult.getDocOp();
    this.id = docOpResult.getId();
    this.code = docOpResult.getCode();
    this.message = docOpResult.getMessage();
  }

}

CollectionMeta

Python

@dataclass(frozen=True)
class CollectionMeta(object):
    name: str                      # Collection名称
    dimension: int                 # 向量维度
    dtype: str                     # 向量数据类型，FLOAT/INT
    metric: str                    # 距离度量方式，euclidean/dotproduct/cosine
    status: Status                 # Collection状态
    fields: Dict[str, str]         # Collection Fields定义，字典value可选值: FLOAT/BOOL/INT/STRING
    partitions: Dict[str, Status]  # Collection 分区信息

Java

@Getter
public class CollectionMeta {
  // Collection名称
  private final String name;
  // 向量维度
  private final int dimension;
  // 向量数据类型，FLOAT/INT
  private final CollectionInfo.DataType dataType;
  // 距离度量方式，euclidean/dotproduct/cosine
  private final CollectionInfo.Metric metric;
  // Collection状态
  private final String status;
  // Collection Fields定义，字典value可选值: FLOAT/BOOL/INT/STRIN
  private final Map<String, FieldType> fieldsSchema;
  // Collection 分区信息
  private final Map<String, Status> partitionStatus;

  public CollectionMeta(CollectionInfo collectionInfo) {
    this.name = collectionInfo.getName();
    this.dimension = collectionInfo.getDimension();
    this.dataType = collectionInfo.getDtype();
    this.metric = collectionInfo.getMetric();
    this.status = collectionInfo.getStatus().name();
    this.fieldsSchema = collectionInfo.getFieldsSchemaMap();
    this.partitionStatus = collectionInfo.getPartitionsMap();
  }
}

CollectionStats

Python

@dataclass(frozen=True)
class CollectionStats(object):
    total_doc_count: int                    # Collection 插入数据总量
    index_completeness: float               # Collection 插入数据完成度
    partitions: Dict[str, PartitionStats]   # Collection 分区信息

Java

@Getter
public class CollectionStats {
  // Collection 插入数据总数
  private final long totalDocCount;
  // Collection 插入数据完成度
  private final float indexCompleteness;
  // Collection 分区信息
  private final Map<String, PartitionStats> partitions;

  public CollectionStats(StatsCollectionResponse.CollectionStats collectionStats) {
    this.totalDocCount = collectionStats.getTotalDocCount();
    this.indexCompleteness = collectionStats.getIndexCompleteness();
    this.partitions = new HashMap<>();
    collectionStats
        .getPartitionsMap()
        .forEach((key, value) -> this.partitions.put(key, new PartitionStats(value)));
  }
}

PartitionStats

Python

@dataclass(frozen=True)
class PartitionStats(object):
    total_doc_count: int                    # Partition 分区内数据总量

Java

@Getter
public class PartitionStats {
  // Partition 分区内数据总量
  private final long totalDocCount;

  public PartitionStats(com.aliyun.dashvector.proto.PartitionStats partitionStats) {
    this.totalDocCount = partitionStats.getTotalDocCount();
  }
}

Status

Python

class Status(IntEnum):
    INITIALIZED = 0                        # Collection/Partition 创建中
    SERVING = 1                            # Collection/Partition 服务中
    DROPPING = 2                           # Collection/Partition 删除中
    ERROR = 3                              # Collection/Partition 状态异常

Group

Python

@dataclass(frozen=True)
class Group(object):
    group_id: str                         # 分组标识
    docs: List[Doc]                       # 分组下的文档列表

Java

@Getter
@Builder
public class Group {
    // 分组标识
    @NonNull private String groupId;
    // 分组下的文档列表
    @Singular private List<Doc> docs;
}

RequestUsage

Python

# read_units 和 write_units 是 oneof 关系
class RequestUsage(object):
    read_units: int                        # 读请求单元数
    write_units: int                       # 写请求单元数

Java

@Data
@Builder
@JsonInclude(JsonInclude.Include.NON_DEFAULT)
public class RequestUsage {
    // 读请求单元数
    private int readUnits;
    // 写请求单元数
    private int writeUnits;
}

VectorParam

Python

class VectorParam(object):
    dimension: int                                # 向量维度
    dtype: Union[Type[int] Type[float]] = float,  # 数据类型
    metric: str = "cosine"                        # 距离度量方式
    quantize_type: str = ""                       # 量化类型，参见 https://help.aliyun.com/document_detail/2663745.html

Java

@Builder
@Getter
public class VectorParam {
    /** 向量维度 */
    private int dimension;
    /** 数据类型 */
    @Builder.Default @NonNull
    private CollectionInfo.DataType dataType = CollectionInfo.DataType.FLOAT;
    /** 度量方式 */
    @Builder.Default @NonNull
    private CollectionInfo.Metric metric = CollectionInfo.Metric.cosine;
    /** 量化类型，参见 https://help.aliyun.com/document_detail/2663745.html */
    @Builder.Default
    private String quantizeType="";
}

VectorQuery

Python

class VectorQuery(object):
    vector: VectorValueType  # 向量数据
    num_candidates: int = 0  # 候选集个数，默认为query参数中的topk
    is_linear: bool = False  # 是否做线性（暴力）检索
    ef: int = 0              # HNSW检索时的ef
    radius: float = 0.0      # RNN检索的半径

Java

@Builder
@Getter
public class VectorQuery {
    /** 向量数据 */
    private Vector vector;
    /** 候选集个数，默认为query参数中的topk */
    private int numCandidates = 0;
    /** 是否做线性（暴力）检索 */
    private boolean linear = false;
    /** HNSW检索时的ef */
    private int ef = 0;
    /** RNN检索的半径 */
    private float radius = 0.0F;
}

BaseRanker

融合排序的基类。

Python

class BaseRanker:
    pass

Java

public interface Ranker {
    com.aliyun.dashvector.proto.Ranker toProto();
}

RrfRanker

倒数秩融合排序 (Reciprocal Rank Fusion)根据文档的排序来计算分数贡献值，其计算公式如下

$score (d oc) = i = 1 \sum n \frac{1}{r ank _ co n s t an t + r an k _{i} ( d oc )}$

其中rank_constant为常数值，默认为60. rank_i(doc)为多向量检索时该文档在第i条向量召回结果中的排名，其中排名从1开始。

使用RrfRanker时只有排序起作用，原分数不起作用，文档的最终得分为单个检索排名得到的分数贡献值之和。

Python

class RrfRanker(BaseRanker):
    def __init__(self, rank_constant: int = 60):
        self.rank_constant = rank_constant

Java

@Builder
@Getter
public class RrfRanker implements Ranker {
    @Builder.Default
    private int rankConstant = 60;
}

WeightedRanker

加权融合排序的计算公式如下：

$score (d oc) = i = 1 \sum n w e i g h t_{i} * n or ma l i ze d (scor e_{i})$

加权融合排序对于单次检索的分数赋予一个权重。而由于不同距离计算得到的分数的范围差别很大，为了降低用户设置权重的难度，我们在加权之前会对分数做归一化，归一化后范围为[0, 1]，其中1表示距离最近，0表示距离最远。

使用WeightedRanker时只有原分数起作用，排序不起作用，文档的最终得分为权重与归一化分数的乘积之和。

权重保持默认值时各个向量的权重均为1.0；否则需要设置每个向量的权重，并且和检索时的向量必须完全匹配。

Python

class WeightedRanker(BaseRanker):
    def __init__(self, weights: Optional[Dict[str, float]] = None):
        self.weights = weights # 权重值，None表示各个向量的权重相同

Java

@Builder
@Getter
public class WeightedRanker implements Ranker {
    private Map<String, Float> weights;  // 权重值，null表示各个向量的权重相同
}

其他

Python

VectorValueType = Union[List[int], List[float], np.ndarray]

FieldDataType = Dict[str, Union[Type[str], Type[int], Type[float], Type[bool]]]