通过 Web 控制台导入
本文介绍如何通过 Zilliz Cloud Web 控制台将数据导入现有 Collection 中。
开始前
请确保已完成以下步骤:
-
已创建集群。详情请参见创建按量计费集群。
-
已创建 Collection,且该 Collection 的 Schema 与示例数据集相匹配。详情请参见创建 Collection。
导入数据
数据文件准备好后,您可以直接从本地导入,也可以先将文件上传到对象存储桶(如阿里云 OSS),然后进行远程导入。
导入本地文件
Zilliz Cloud 支持上传本地 JSON 或 Parquet 文件。如果您的数据格式为 Numpy,请通过对象存储桶进行导入。
要导入数据,您可以将本地文件拖放到上传区域中,或单击上传文件并选择文件。
从对象存储桶中导入远程文件
要导入远程文件,您需要先将其上传到远程存储桶。您可以使用BulkWriter 工具将原始数据转换为支持的格式并将结果文件上传。
上传准备好的文件到远程存储桶后,您只需选择对象存储服务,并填写文件所在路径及存储桶的访问凭证,Zilliz Cloud 将会从您的存储桶中拉取数据。
根据您的数据安全需求,在导入数据时可以选择使用长期凭证或会话令牌。
有关获取凭证的更多信息,请参见:
-
阿里云:获取单个或多个文件的 URL 和创建 Access Key。
-
腾讯云:导出对象 URL 和临时密钥生成及使用指引。
-
亚马逊云科技:使用预签名 URL 共享对象和使用长期凭证进行身份验证。
根据您的数据安全需求,您也可以使用 临时 Token。
导入存储在 Volume 中的文件
如果您的本地文件大小超过 1 GB,您可以先将其上传到 Volume 中,然后通过 Volume 导入数据。
上传准备好的文件到 Volume 后,您只需选择相应的 Volume,并填写文件所在路径。
结果验证
单击导入后,Zilliz Cloud 会生成一条导入任务。您可以前往任务中心查看导入进度及任务详情。
支持的导入路径
关于导入路径需遵循的格式要求,可查看支持的对象存储。
常见问题
使用 External Volume 与直接从外部存储中导入数据有何不同?
两种方式都允许您从外部的云服务对象存储中导入数据。不同之处在于:
-
External Volume 通过存储集成来管理凭证。凭证只需配置一次,即可在多个 Volume 和操作中复用。数据工程师无需直接接触云存储密钥。
-
直接从外部存储导入时,需要在每次导入请求中提供凭证(access key、secret key)。这种方式更适合一次性导入,但不具备凭证隔离和复用能力。