部署¶
将训练产物转为在线推理服务,让应用使用自己的模型。
部署连接模型版本与 API 调用。一个训练成功的版本并不等于一个已经就绪的服务;创建部署后,还需要完成模型加载、健康检查和调用路由。
选择部署方式¶
当前部署页提供以下选项,实际可用性取决于目标模型和资源配置:
| 方式 | 适用条件 |
|---|---|
| LoRA · 自有 GPU 集群 | 基础模型在集群支持清单内,训练适配器与基座匹配 |
| Tinker · 平台 | 训练版本具有可用的推理检查点,由平台解析相应基础模型 |
从 我的模型进入某个版本的部署,或在 部署页选择训练版本。创建前核对基座与产物是否匹配。专属 GPU 需求请参阅服务价格。
确认服务就绪¶
| 检查项 | 含义 |
|---|---|
| 加载 | 模型或适配器已加载 |
| 健康 | 推理服务健康检查通过 |
| 路由 | 调用入口已能够路由到该服务 |
仅看到部署记录不代表可以调用。若任一就绪项未通过,先查看部署状态与错误信息;已停止的部署应先恢复可用服务,再发起请求。
接入应用¶
打开 模型调用 → API 接入,选择模型和 API Key,复制该页面生成的调用配置。当前 Alpha 环境提供 OpenAI 兼容 HTTP 请求,聊天补全路径为 /v1/chat/completions。
下面示例使用环境变量,避免把某个账号或环境的密钥写入代码。MINT_BASE_URL 填 API 接入页提供的基础地址,MINT_MODEL_ID 填对应服务的 Model ID:
# Set MINT_BASE_URL, MINT_API_KEY and MINT_MODEL_ID from API access.
curl "${MINT_BASE_URL%/}/v1/chat/completions" \
-H "Authorization: Bearer $MINT_API_KEY" \
-H "Content-Type: application/json" \
--data-binary @- <<EOF
{
"model": "$MINT_MODEL_ID",
"messages": [{"role": "user", "content": "Hello"}],
"max_completion_tokens": 128
}
EOF
使用 API 接入页的模型标识
训练版本、检查点路径与 Model ID 表示不同资源。调用时使用接入页给出的 Model ID,不要自行将版本号或 sampler_path 替换进去。
先验证单次请求,再接入应用流量。若模型不可选或调用失败,参考故障排查。