评测¶

在明确的任务与评分标准下，判断模型是否达到了你的目标。

评测用于比较模型版本、定位失败类型，以及决定是否部署一个新版本。可靠的对比需要固定数据集版本、评分方式和推理配置。

选择评测类型¶

当前控制台提供两类评测：

类型	用途	主要配置
Harbor Agent 评测	观察 Agent 在任务环境中的完成情况	Benchmark、Agent、被测模型与执行设置
QA 问答评测（HLE/FSR）	衡量模型在问答任务中的表现	Benchmark、被测模型、裁判模型及评分配置

在评测中选择类型和 Benchmark，再选择模型。Harbor 可以使用可用部署；页面也提供自定义模型入口，用于配置自己的 endpoint。具体 Benchmark 以控制台当前列表为准。

为基础模型和训练后的模型使用相同的测试集。将训练数据与评测数据隔离，避免通过记忆样本得到虚高结果。对 Agent 任务，还应保持 Agent 配置和运行环境一致。

提交前检查目标模型可用、Benchmark 已选择，并确认可选执行参数。任务提交后在 我的评测查看运行状态、Trial 进度及已有结果。

执行完成表示评测过程结束，通过率或分数表示模型表现，两者不能互相替代。无分数、异常退出或未完成的 Trial 应先排查执行问题，再纳入模型对比。

除了总分，也应查看具体失败任务：是回答质量不足、工具使用不当，还是模型服务和任务环境无法正常运行。将基础设施错误与模型能力问题分开处理。

根据失败类型补充或修订训练样本，在外部数据处理流程完成清洗后，作为新数据版本上传。当前产品不在控制台内执行题库做题与自动 SFT 数据生成；数据准备方式见题库。