跳转至

部署

将训练产物转为在线推理服务,让应用使用自己的模型。

部署连接模型版本与 API 调用。一个训练成功的版本并不等于一个已经就绪的服务;创建部署后,还需要完成模型加载、健康检查和调用路由。

选择部署方式

当前部署页提供以下选项,实际可用性取决于目标模型和资源配置:

方式 适用条件
LoRA · 自有 GPU 集群 基础模型在集群支持清单内,训练适配器与基座匹配
Tinker · 平台 训练版本具有可用的推理检查点,由平台解析相应基础模型

从 我的模型进入某个版本的部署,或在 部署页选择训练版本。创建前核对基座与产物是否匹配。专属 GPU 需求请参阅服务价格。

部署列表与服务就绪状态 — 界面截图占位 · 产品界面定稿后更新
部署列表与服务就绪状态 · 界面截图占位 · 产品界面定稿后更新

确认服务就绪

检查项 含义
加载 模型或适配器已加载
健康 推理服务健康检查通过
路由 调用入口已能够路由到该服务

仅看到部署记录不代表可以调用。若任一就绪项未通过,先查看部署状态与错误信息;已停止的部署应先恢复可用服务,再发起请求。

接入应用

打开 模型调用 → API 接入,选择模型和 API Key,复制该页面生成的调用配置。当前 Alpha 环境提供 OpenAI 兼容 HTTP 请求,聊天补全路径为 /v1/chat/completions。

下面示例使用环境变量,避免把某个账号或环境的密钥写入代码。MINT_BASE_URL 填 API 接入页提供的基础地址,MINT_MODEL_ID 填对应服务的 Model ID:

# Set MINT_BASE_URL, MINT_API_KEY and MINT_MODEL_ID from API access.
curl "${MINT_BASE_URL%/}/v1/chat/completions" \
  -H "Authorization: Bearer $MINT_API_KEY" \
  -H "Content-Type: application/json" \
  --data-binary @- <<EOF
{
  "model": "$MINT_MODEL_ID",
  "messages": [{"role": "user", "content": "Hello"}],
  "max_completion_tokens": 128
}
EOF

使用 API 接入页的模型标识

训练版本、检查点路径与 Model ID 表示不同资源。调用时使用接入页给出的 Model ID,不要自行将版本号或 sampler_path 替换进去。

先验证单次请求,再接入应用流量。若模型不可选或调用失败,参考故障排查。