跳到主要内容

从 Elasticsearch 迁移至 Zilliz Cloud

本文档说明从 Elasticsearch 迁移时,Zilliz Cloud 如何处理数据类型映射、Collection 命名规则及注意事项。

开始前

开始离线迁移前需满足:

Elasticsearch 侧要求

要求项详细说明
版本兼容性Elasticsearch 7.x 或更高版本
网络访问源集群必须可通过公网访问
API 访问权限需提供有效的集群 Endpoint 或 Cloud ID 及对应凭证
向量字段要求每个源索引必须包含至少一个稠密向量字段

Zilliz Cloud 侧要求

要求项详细说明
用户权限需具备组织管理员或项目管理员角色
目标集群容量需预留足够 CU 容纳源数据(使用 CU 计算器预估容量)
网络连通性如果有网络限制,请确保已将 Zilliz Cloud IP 加入白名单

数据类型映射

下表总结了 Elasticsearch 字段类型如何映射到 Zilliz Cloud 字段类型,并对各类型做了详细说明。

Elasticsearch 字段类型Zilliz Cloud 字段类型描述
主键主键Elasticsearch 的 ID 字段会自动映射为 Zilliz Cloud 中的主键。
在数据迁移时,您可以选择启用 Auto ID 功能;但请注意,启用后源索引中的原始主键值将会被舍弃。
dense_vectorFLOAT_VECTOR向量维度与源索引中的向量字段维度相同。您可以在 L2IP 之间指定一个度量类型。
text, string, keyword, ip, date, timestampVARCHAR通过 Max Length 指定最大数据长度,有效值为 1 到 65535 之间。如果任何字符串超过了最大长度限制,迁移过程将会报错。
longINT64-
integerINT32-
shortINT16-
byteINT8-
doubleDOUBLE-
floatFLOAT-
booleanBOOL-
objectJSON-
arraysARRAY-

Elasticsearch 特殊处理规则

Collection 命名规则

Elasticsearch 索引名称将按以下规则迁移至 Zilliz Cloud:

场景影响解决方案
默认命名Collection 名称与源索引名称完全一致保留原始名称
特殊字符含连字符(-)或点号(.)的索引名称将导致迁移任务提交失败手动重命名目标 Collection(使用下划线等合法字符)
名称冲突目标 Database 存在同名 Collection 时无法提交迁移任务删除现有 Collection / 选择其他目标 Database / 迁移配置时重命名 Collection

迁移注意事项

从 Elasticsearch 迁移时需注意以下事项:

限制项影响替代方案
动态字段转固定字段无法将现有动态字段转换为固定类型字段保持原始动态特性
迁移过程中添加新字段仅迁移 Elasticsearch 已有字段无法在迁移时新增字段
稀疏向量迁移当前版本不支持迁移稀疏向量考虑使用稠密向量替代方案,或联系支持团队了解路线图
Ctrl I