合并数据

内测版

对指定 Collection 和存储在指定位置的待插入字段的数据集利用指定的合并键进行左连接，并生成新的 Collection，其中包含合并后的数据。必须是项目管理员及以上权限才能执行此操作。

POST

/v2/etl/merge

Base URL

该 API 的 Base URL 格式如下：

https://api.cloud.zilliz.com.cn

📘说明

控制面接口速率限制为单用户单接口每秒最多 20 个请求。

当前接口为公测版。如果您在使用该接口过程中遇到任何问题，欢迎您联系 Zilliz Cloud 技术支持。

export BASE_URL="https://api.cloud.zilliz.com.cn"

参数

Authorizationstringheaderrequired

认证令牌，应为具备适当权限的 API 密钥。

示例值：Bearer {{TOKEN}}

请求体application/json

USE EXTERNAL STORAGE

clusterIdstring

本操作目标 Collection 所在集群的名称。

示例值：in00-xxxxxxxxxxxxxxxxxx

dbNamestring

本操作目标 Collection 所在数据库的名称。

collectionNamestring

本操作目标 Collection 的名称。

destDbNamestring

待创建 Collection 所在数据库的名称。

destCollectionNamestring

待创建 Collection 的名称。该 Collection 将保存合并后的数据。

dataSourceobject

待与指定 Collection 合并的数据。您需要将待合并数据存为 PARQUET 文件，然后将其上传到 Zilliz Cloud 可以访问的对象存储桶中。在此参数中，您需要提供待合并数据文件的 URL 及存放该数据文件的存储桶的访问凭据。

typestring

数据源的类型。在使用 OSS 对象存储时，请将该参数设置为 oss。

dataPathstring

待与指定 Collection 合并的 PARQUET 文件的 URL。

示例值：s3://my-bucket/my_data.parquet

credentialobject

存放待合并数据文件的存储桶的访问凭据。此参数仅当您将 type 设置为 oss 时有效。

accessKeystring

存放待合并数据文件的存储桶的访问密钥。

secretKeystring

存放待合并数据文件的存储桶的访问密钥。

mergeFieldstring

数据合并操作类似于关系型数据库中的左连接操作，其合并字段充当源 Collection 和 Parquet 文件之间共享键的角色。您需要提供共享键的名称作为合并字段。合并字段必须在源 Collection 和 Parquet 文件中都存在。在一般情况下，您可以使用主键作为合并字段。

newFieldsarray

待创建 Collection 的各字段数据结构。该参数的值应该为字段数据结构数组。

[]newFieldsobject

The schema of a field to add.

fieldNamestring

Name of the current field to add.

dataTypestring

Data type of the current field to add.

枚举值：

VARCHARINT32INT64FLOATDOUBLEBOOL

paramsobject

Extra settings for the current field to add.

maxLengthinteger

VARCHAR 字段的最大长度。该参数仅当 dataType 设置为 VARCHAR 时可用。

USE STAGE

clusterIdstring

本操作目标 Collection 所在集群的名称。

示例值：in00-xxxxxxxxxxxxxxxxxx

dbNamestring

本操作目标 Collection 所在数据库的名称。

collectionNamestring

本操作目标 Collection 的名称。

destDbNamestring

待创建 Collection 所在数据库的名称。

destCollectionNamestring

待创建 Collection 的名称。该 Collection 将保存合并后的数据。

dataSourceobject

待与指定 Collection 合并的数据。您需要将待合并数据存为 PARQUET 文件，然后将其上传到 Zilliz Cloud 可以访问的对象存储桶中。在此参数中，您需要提供待合并数据文件的 URL 及存放该数据文件的存储桶的访问凭据。

typestring

数据源的类型。

示例值：stage

stageNamestring

Zilliz Cloud 存储点的名称。此参数仅当您将 type 设置为 stage 时有效。有关创建存储点的详细信息，请参阅 Create Stage 操作的文档。

dataPathstring

待与指定 Collection 合并的 PARQUET 文件的 URL。

示例值：path/to/your/data.parquet

mergeFieldstring

数据合并操作类似于关系型数据库中的左连接操作，其合并字段充当源 Collection 和 Parquet 文件之间共享键的角色。您需要提供共享键的名称作为合并字段。合并字段必须在源 Collection 和 Parquet 文件中都存在。在一般情况下，您可以使用主键作为合并字段。

newFieldsarray

待创建 Collection 的各字段数据结构。该参数的值应该为字段数据结构数组。

[]newFieldsobject

The schema of a field to add.

fieldNamestring

Name of the current field to add.

dataTypestring

Data type of the current field to add.

枚举值：

VARCHARINT32INT64FLOATDOUBLEBOOL

paramsobject

Extra settings for the current field to add.

maxLengthinteger

VARCHAR 字段的最大长度。该参数仅当 dataType 设置为 VARCHAR 时可用。

export TOKEN="YOUR_API_KEY"

curl --request POST \
--url "${BASE_URL}/v2/etl/merge" \
--header "Authorization: Bearer ${TOKEN}" \
--header "Content-Type: application/json" \
-d '{
    "clusterId": "in00-xxxxxxxxxxxxxxx",
    "dbName": "my_database",
    "collectionName": "my_collection",
    "destDbName": "my_database",
    "destCollectionName": "my_merged_collection",
    "dataSource": {
        "type": "oss",
        "dataPath": "https://oss-cn-hangzhou.aliyuncs.com/my-bucket/my_data.parquet",
        "credential": {
            "accessKey": "my-access-key",
            "secretKey": "my-secret-key"
        }
    },
    "mergeField": "id",
    "newFields": [
        {
            "name": "my_field1",
            "dataType": "VARCHAR",
            "params": {
                "maxLength": 512
            }
        }
    ]
}'

响应200 - application/json

SUCCESS

codeinteger

响应码。

示例值：0

dataarray

响应负载，包含了当前操作创建的数据合并任务的 ID。

[]dataobject

A created data-merge job.

jobIdstring

当前创建的数据合并任务 ID。

FAILURE

Returns an error message.

codeinteger

响应码。

messagestring

错误描述。

SUCCESS

{
    "code": 0,
    "data": {
        "jobId": "job-xxxxxxxxxxxxxxxxxxxxx"
    }
}