软件工程实践 · 两批正式数据 · 可核验实验报告
GPT 与 DeepSeek
购车决策任务实测记录
页面性质：根据真实记录生成的本地报告，不是 ChatGPT、Codex 或 DeepSeek 官方产品界面。车型为教学模拟数据；仅纳入指定的两批正式任务，不包含烟雾测试、未完成连接试验或 MOCK。
18/18两模型自动规则任务成功数
GPT 100.0 / DeepSeek 100.0规则综合均分 / 100
GPT 0 / DeepSeek 4理由有明确错误的轮次，各复核 45 轮；非盲评
自动规则得分与成功率同分，规则分未分出优胜；助手理由复核另发现 GPT 0/45、DeepSeek 4/45 轮有明确事实错误。这体现本批次解释质量差异，不能外推为模型总体错误率或行业排名。
基础数据、场景、提示词与评分代码哈希一致；调用方式、测试日期、并发和可配置参数存在差异，因此延迟、token 与账单不能直接作跨模型排名。
实际理由缺陷：DeepSeek S3-2 第 1/2/3/5 轮把总支出 20.2 万元的 C03 误称为 18.5 万元预算内；其空候选与 null 最终选择仍正确，因此原规则分保持 100。参见
DeepSeek 理由复核、
S3-2 原始证据及
GPT 理由复核。助手复核不是独立真人盲评，0/45 也不证明普遍无错误。
模型与正式结果摘要
| 模型 | 请求标识 | 返回标识 | 运行开始 / UTC+8 | 调用形式 | 并发 | 成功 | 均分 | 平均耗时 / s |
|---|
| GPT | gpt-6.1-sol | 未单独返回 | 2026-11-08 15:36:01 UTC+8 | Codex CLI 历史重放 | 2 | 9/9 | 100.0 | 74.44 |
| DeepSeek | deepseek-flash | deepseek-flash | 2026-11-09 21:39:42 UTC+8 | 原生 Chat Completions API | 1 | 9/9 | 100.0 | 7.94 |
耗时列仅描述各自批次：GPT 包含 CLI 启动、额外指令及历史包装；DeepSeek 为原生 API 多轮 messages。GPT 后端精确快照未单独暴露。CLI 回合完成与服务原生 finish_reason 分开记录。
全部 18 个独立任务
| 模型 | 任务 | 记录轮次 | 规则成功 | 分数 / 100 | 耗时 / s | 理由错误轮次* | 额外工具 | 证据 |
|---|
| GPT | S1-1 | 5/5 | 通过 | 100.0 | 75.62 | 0/5 | 未观察到 | 完整 JSON |
| GPT | S1-2 | 5/5 | 通过 | 100.0 | 68.42 | 0/5 | 未观察到 | 完整 JSON |
| GPT | S1-3 | 5/5 | 通过 | 100.0 | 69.16 | 0/5 | 未观察到 | 完整 JSON |
| GPT | S2-1 | 5/5 | 通过 | 100.0 | 82.61 | 0/5 | 未观察到 | 完整 JSON |
| GPT | S2-2 | 5/5 | 通过 | 100.0 | 82.27 | 0/5 | 未观察到 | 完整 JSON |
| GPT | S2-3 | 5/5 | 通过 | 100.0 | 71.09 | 0/5 | 未观察到 | 完整 JSON |
| GPT | S3-1 | 5/5 | 通过 | 100.0 | 79.74 | 0/5 | 未观察到 | 完整 JSON |
| GPT | S3-2 | 5/5 | 通过 | 100.0 | 69.89 | 0/5 | 未观察到 | 完整 JSON |
| GPT | S3-3 | 5/5 | 通过 | 100.0 | 71.16 | 0/5 | 未观察到 | 完整 JSON |
| DeepSeek | S1-1 | 5/5 | 通过 | 100.0 | 7.02 | 0/5 | 未观察到 | 完整 JSON |
| DeepSeek | S1-2 | 5/5 | 通过 | 100.0 | 7.37 | 0/5 | 未观察到 | 完整 JSON |
| DeepSeek | S1-3 | 5/5 | 通过 | 100.0 | 8.07 | 0/5 | 未观察到 | 完整 JSON |
| DeepSeek | S2-1 | 5/5 | 通过 | 100.0 | 10.18 | 0/5 | 未观察到 | 完整 JSON |
| DeepSeek | S2-2 | 5/5 | 通过 | 100.0 | 7.01 | 0/5 | 未观察到 | 完整 JSON |
| DeepSeek | S2-3 | 5/5 | 通过 | 100.0 | 8.06 | 0/5 | 未观察到 | 完整 JSON |
| DeepSeek | S3-1 | 5/5 | 通过 | 100.0 | 8.16 | 0/5 | 未观察到 | 完整 JSON |
| DeepSeek | S3-2 | 5/5 | 通过 | 100.0 | 8.31 | 4/5 | 未观察到 | 完整 JSON |
| DeepSeek | S3-3 | 5/5 | 通过 | 100.0 | 7.28 | 0/5 | 未观察到 | 完整 JSON |
* 理由错误由助手逐轮复核，非盲评，未加入自动规则分数；“0/5”指未发现明确事实冲突，不证明解释完全正确。
不能被规则满分掩盖的实际案例
DeepSeek · S3-2 · 最终轮含错误原文
预算始终为 18.5 万元；C03 远帆P5 总支出为 20.2 万元。因此以下理由中的“预算内插混车型远帆P5”是错误归类。最终 null 本身正确，原文保留，不据此事后改动规则权重。
{"phase":"final","constraints":{"budget_wan":18.5,"min_seats":7,"power":"PHEV","aeb":true},"candidates":[],"comparison":[],"final_id":null,"reason":"无解：无法同时满足全款总支出不超过18.5万元、至少7座、插电混动、配置AEB这组硬约束。固定数据中7座插混车型山行P7总支出23.0万元、山行P7+总支出25.5万元，均超预算；预算内插混车型远帆P5总支出20.2万元且仅5座。故final_id为null，不放宽任何约束。"}完整 S3-2 任务 · 逐轮理由复核与计数口径
代表任务的最终轮原文
每个模型固定展示 S1、S2、S3 的第 1 次重复，共 6 份；选择规则不按分数筛选。以下逐字读取 raw 字段，未改写。完整中间轮次见各任务 JSON。
GPT · S1-1 · 最终轮原文
UTC 结束时间：2026-11-08T07:38:39.733762+00:00
{"phase":"final","constraints":{"budget_wan":19,"min_seats":5,"power":"BEV","min_range_km":450,"max_length_mm":4500,"aeb":true},"candidates":["C02"],"comparison":[],"final_id":"C02","reason":"最终选择青禾E+（C02）。其全款总支出18.5万元，不超过19万元；为5座纯电车型；模拟综合续航520km，达到450km下限；车长4450mm，不超过4500mm；配置AEB。该车型是固定教学模拟数据中唯一满足全部硬约束的车型，未放宽任何条件。"}查看该任务五轮记录及评分
GPT · S2-1 · 最终轮原文
UTC 结束时间：2026-11-08T07:39:55.351104+00:00
{"phase":"final","constraints":{"budget_wan":23,"min_seats":7,"power":"PHEV","min_range_km":1000,"aeb":true},"candidates":["C05"],"comparison":[],"final_id":"C05","reason":"最终选择教学模拟车型C05山行P7：7座、插电混动、模拟综合续航1050km、配置AEB，全款总支出23.0万元，满足全部硬约束。新预算23万元已替代原预算26万元，C06全款总支出25.5万元，超过新预算，不能继续作为候选或最终推荐。"}查看该任务五轮记录及评分
GPT · S3-1 · 最终轮原文
UTC 结束时间：2026-11-08T07:37:21.578504+00:00
{"phase":"final","constraints":{"budget_wan":18.5,"min_seats":7,"power":"PHEV","aeb":true},"candidates":[],"comparison":[],"final_id":null,"reason":"最终无解。固定教学模拟数据中，满足至少7座、插电混动且配置AEB的车型仅有C05和C06，其全款总支出total_wan分别为23.0万元和25.5万元，均超过18.5万元预算上限。因此预算、座位、动力和AEB这组硬约束无法同时满足。"}查看该任务五轮记录及评分
DeepSeek · S1-1 · 最终轮原文
UTC 结束时间：2026-11-09T13:40:54.214115+00:00
{"phase":"final","constraints":{"budget_wan":19,"min_seats":5,"power":"BEV","min_range_km":450,"max_length_mm":4500,"aeb":true},"candidates":["C02"],"comparison":[],"final_id":"C02","reason":"C02为纯电、5座，模拟综合续航520km满足至少450km，车长4450mm满足不超过4500mm，配备AEB，全款总支出18.5万元未超过19万元预算，全部硬约束均满足，因此最终选择C02。"}查看该任务五轮记录及评分
DeepSeek · S2-1 · 最终轮原文
UTC 结束时间：2026-11-09T13:39:59.927524+00:00
{"phase":"final","constraints":{"budget_wan":23,"min_seats":7,"power":"PHEV","min_range_km":1000,"aeb":true},"candidates":["C05"],"comparison":[],"final_id":"C05","reason":"最终选择C05：其全款总支出23.0万元，未超过新预算23万元；7座满足家庭出游；PHEV满足插电混动；续航1050km达到至少1000km；AEB为true。C06虽同样满足7座、PHEV、续航1100km和AEB，但总支出25.5万元，超过变更后的23万元预算，因此不能继续采用；其余车型也分别因动力、座位、续航或AEB不符而被排除。"}查看该任务五轮记录及评分
DeepSeek · S3-1 · 最终轮原文
UTC 结束时间：2026-11-09T13:40:31.497722+00:00
{"phase":"final","constraints":{"budget_wan":18.5,"min_seats":7,"power":"PHEV","aeb":true},"candidates":[],"comparison":[],"final_id":null,"reason":"无解，final_id为null。无法同时满足的硬约束组合是：全款总支出不超过18.5万元、至少7座、插电混动、必须配置AEB。数据中7座PHEV且带AEB的山行P7总支出23.0万元、山行P7+总支出25.5万元，均超预算；远帆P5总支出20.2万元且仅5座，也不合规。本轮不放宽任何约束。"}查看该任务五轮记录及评分
记录范围与复现限制
- 每模型正式 9 个五轮任务，共 18 任务、90 轮；仅使用固定教学模拟数据。
- GPT 由官方 Codex CLI 临时进程逐轮重放外显历史；DeepSeek 使用原生 messages 上下文。GPT 不测试原生 API 会话记忆。
- 每场景 n=3，规则满分不代表所有能力满分；理由文字真实性仍需人工核对。此页不能证明无幻觉或行业整体优劣。
- 未启用车型联网搜索或 Function Calling；工具污染标记取自任务日志。
- 各批次原始 manifest、请求/响应及评分记录保留，不把真实记录与本地模拟器结果混用。