跳到主要内容

外部迁移概述

外部迁移功能简化了将向量数据库和搜索系统迁移至 Zilliz Cloud 的过程。无论您是从 Qdrant 等向量数据库迁移,还是从 Elasticsearch、OpenSearch 等支持向量的搜索引擎迁移,Zilliz Cloud 均提供迁移工具,在确保数据完整性的同时最大限度降低迁移复杂度。

支持的数据源

Zilliz Cloud 支持从主流向量数据库和搜索平台迁移:

Data Source

Type

Key Features

Qdrant

向量数据库

开源引擎,支持云部署与自托管

Elasticsearch

搜索引擎

支持稠密向量与全文检索

PostgreSQL

关系型数据库

支持向量扩展(pgvector)

Tencent Cloud VectorDB

托管服务

全托管向量数据库服务

OpenSearch

搜索平台

支持向量检索的 KNN 插件

核心能力

迁移工具提供丰富的配置选项,确保数据结构完美适配 Zilliz Cloud:

功能类别

能力项

描述

Schema 管理

字段重命名

迁移过程中重命名字段,匹配命名规范

动态转固定字段

将灵活元数据转为固定结构字段以提升性能

添加额外字段

扩展源数据外的字段,适应业务演进需求

数据类型映射

自动检测并映射字段类型,支持手动调整

Collection 配置

智能命名处理

默认保留源表名;重名时系统报错;含连字符(-)的名称自动转为下划线(_)或提示修正

Shard 配置

根据查询模式设置数据分布策略

Partition 策略

采用自动分区或自定义分组管理数据

Data integrity

主键处理

创建/保留/修改记录的唯一标识符

字段属性设置

定义字段空值规则与默认值

验证检查

查看迁移详情

迁移流程

采用三阶段迁移框架保障数据完整性与过程可视化:

MPbQwTCqBhybmZbzfAfc0Xnenab

阶段 1:连接与配置

  1. 建立连接:提供源系统认证凭证(API密钥/连接字符串)

  2. 选择数据:指定需迁移的索引/ Collection /表

  3. 配置目标:选定 Zilliz Cloud 集群与目标 Database

阶段 2:映射检查

Schema 映射

  • 自动检测:识别向量字段、标量字段及元数据

  • 字段定制:按需调整字段名与类型

  • 类型转换:审核源目标数据类型映射

  • 高级设置:配置 Partition/Partition Key/Nullable 字段

Shard 设置

根据数据量优化性能配置:

  • 小数据集(≤1亿行):单分片通常足够

  • 大数据集(>10亿行):联系支持团队获取优化方案

阶段 3:迁移与验证

完成配置后执行迁移并监控:

  • 实时监控:通过"任务"页跟踪迁移状态

  • 进度指标:查看已迁移行数/错误数/预计完成时间

  • 错误处理:发生问题时查阅详细日志

  • 验证机制:自动行数校验确保数据完整

限制说明

迁移前需注意以下通用限制:

限制项

影响

解决方案

无自动索引/Load

Collection 迁移后不可立即查询

迁移后手动创建索引并 Load Collection(操作指南见创建 Vector IndexLoad 和 Release)。

空数据源

无法选择空索引/表

确保源数据包含有效数据后再迁移

向量字段要求

Collection 必须包含向量数据

迁移前验证源数据是否含向量字段

不支持的数据类型

特殊类型可能无法迁移

查阅各数据源专属指南了解数据类型映射

开始迁移

准备将数据迁移至 Zilliz Cloud 了吗?

  1. 登录 Zilliz Cloud 控制台

  2. 点击数据迁移,然后选择数据源平台

  3. 按引导流程完成迁移

平台专属迁移指南

各平台详细操作流程、前置条件及数据映射说明: