题库¶

组织稳定的任务集合，为模型评测与下一轮数据改进提供依据。

题库是一组任务、输入和评分依据。它帮助你回答“这个模型能否完成目标任务”，并为不同版本提供一致的比较标准。

在 Mint Recursive 中使用题库¶

当前控制台通过评测页选择 Benchmark，运行记录在 我的评测中查看。题库的制作、做题及训练数据生成由外部 benchmark 或数据处理项目完成，控制台目前没有独立的题库编辑与自动生成 SFT 工作流。

已有 Benchmark 可直接按评测指南使用。自建题库需要先完成对应评测项目的接入，不能仅通过上传训练 JSONL 将其变成一个新 Benchmark。

根据目标任务选择题型，而不是只追求题目数量。覆盖常见场景、边界情况和典型失败模式，并单独保留不参与训练的测试集。

通过的答案或轨迹可以成为候选样本，但应先在外部流程中检查正确性、去重并整理为训练要求的格式。评分通过不等于样本一定具有训练价值。

整理后的 SFT JSONL 上传到 我的数据，形成新的训练数据版本。下一轮训练完成后，仍使用固定的保留集衡量效果。