Skip to content

fix(benchmark): validate replan capture paths before native setup - #7552

Merged
huangruiteng merged 1 commit into
mainfrom
codex/edgebench-checkpoint-preflight-20261028
Oct 28, 2026
Merged

huangruiteng merged 1 commit into
mainfrom
codex/edgebench-checkpoint-preflight-20261028

Conversation

@loopx-agent

Copy link
Copy Markdown
Collaborator

A fresh-replan checkpoint declaration could select the wrong guest directory, consume an initial planning call, then fail at the first work wake. Validate its destination against the existing worker layout when constructing the shared Harbor/SForge adapter, before native setup.

Validation: 460 Linux adapter/runtime tests passed, including rejection before native setup, valid capture/install paths, and capture-off behavior. Diff checks, compile, semantic advisory and nine selected premerge canaries passed. Premerge retains its benchmark-sensitive manual review hold; this proposal is not merged. Earlier local test attempts used the wrong import root or lacked the test import path; both environment problems were corrected for the final run.

Signed-off-by: LoopX Agent <337587101+loopx-agent@users.noreply.github.com>

@loopx-agent loopx-agent left a comment

Copy link
Copy Markdown
Collaborator Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Reviewer: model_agent | gpt-6.1-sol | OpenAI | runtime_reported | reasoning_effort=max

Approval conclusion (author-owned PR; GitHub blocks formal self-approval)

未发现当前切片的阻塞代码问题,建议接受准确 head 8bc5a68 的早期配置校验。共享 GitHub 作者账号使用 COMMENTED 结论;这不是 GitHub 正式独立批准或合并授权。

动机 / Motivation

显式启用 fresh_replan checkpoint 的 Harbor 调用方,以及复用同一适配器的 SForge worker 安装路径。声明了错误的 guest checkpoint 目录时,旧适配器仍完成 native 初始化,直到首个 worker checkpoint 才失败;新 head 在构造共享适配器时就指出正确目录。五种错误目录均在 native 构造前被拒绝,正确目录、after-wake 单点捕获和关闭捕获的既有输入继续被接受。本 PR 不交付任意目录捕获、已有运行迁移、完整 Linux/SForge 捕获资格,也不更改评分、deadline、模型权限或调度。真实 Linux/SForge/Docker 捕获与安装采用仍未在本次独立评审验证;避免初始模型开销的长期净收益也未测量。

checkpoint 是可供后续独立接续的捕获点;这里修的是已知不可能成功的目录声明被发现得太晚。旧行为的实际初始化反例已在不可变 base 843be49 重现;本次没有调用付费模型,因此避免初始规划开销仍是合理预期,不能写成实测 tokens 或费用收益。

改动思路 / Approach

正确性约束已由 worker 定义;共享适配器只提前检查已知的 guest 布局,实际文件系统与 capture 权威仍留在原 worker owner。保留当前两文件的构造前预检与既有回归;不扩展通用路径框架,也不把源码预检视为完整捕获或研究收益资格。最强反对理由是重复校验可能带来两套路径规则,或者误拒普通单点 capture。只改一个 runner 的声明生产者又不能保护直接 Harbor 和共享 SForge 调用。当前选择在既有 parser 后进行纯 POSIX 路径比较,不在 Mac host 上 resolve guest 路径;worker 的实际目录、符号链接、原始 capture 与身份检查保持原位。

输入 旧适配器 当前 head
错误 fresh_replan bank 接受并进入 native 构造 立即 ValueError,native 构造未调用
正确 bank / 普通 after-wake / 关闭捕获 正常构造 同样构造,完整 worker 环境相同

这张表来自实际构造探针;不表示完整 SForge 容器从未创建,也不证明 Linux 文件系统已经合格。用户只需纠正原有声明,没有增加填写、确认或人工交互轮次。

具体改动 / Changes

先读已接受的 benchmark/runtime/RUNTIME.md,规范 revision 为 843be49。CAP-independent 对应原文 capture 与 display 独立、仅显式 true 选择短视图;CAP-original 对应保留完整原始 decision、不重复 guard/admission/debit;CAP-authority 对应不改变评分、预算、任务和启动权限。这些是既有未编号条款的本次定位标签,均保持 implemented,未以补丁反向创造新要求。原 worker 的 bank 约束也逐行核对。

关键代码讲解

  • BenchmarkCodex.init 先解析显式 request,再仅对 fresh_replan 计算 wake 日志的 sibling checkpoints。错误声明在 super().init 之前拒绝。相对目录、错误父目录、bank 子目录和含 parent traversal 的五组输入,在 base 均调用实际 Harbor native 构造一次;head 均为零次。正确根目录仍调用原构造函数。
  • worker 环境 沿用原字段。对正确根、普通 after-wake 和关闭捕获,独立探针对完整字典逐值比较,未做字段裁剪或输出归一化,三组与 base 相同。捕获声明不会因此开启 turn_envelope。
  • checkpoint preflight 仍拥有真正的 guest bank、physical path 和 direct-child 校验。早期纯路径比较不能代替这一层;只有 staged path 而没有 request bytes 的既有调用仍走原晚期校验,不能宣称全部入口都已提前失败。
  • SForge 安装调用 在 runtime.install 前构造同一个 BenchmarkCodex;这是源码追踪的覆盖,完整 SForge backend 本次未运行。新增的三参数负例与原安装夹具只对齐 wake root,没有删除断言、改变 capture 权威或新建框架。

完整差分仅两文件 +26/-1。复用了现有 request parser、trigger 和布局常量;没有新增状态、CLI、依赖或控制面决策 owner。继续保留 worker 校验有明确运行时原因,不需要为了四行谓词再抽一个通用模块。

对主干的风险 / Risks

独立验证使用真实 Harbor 0.20.0;只在构造外计数后仍调用原 CodexOffline.init,没有 mock 掉被验证的成功条件。五个旧行为反例与三条健康分支均在同输入 base/head 对照。修正目录后正常进入实际构造,普通 capture 的可接受输入保持不变。

共享 runtime / SForge / checkpoint-worker 选中套件为 172 passed、327 skipped,24.00 秒,零失败。跳过来自缺少 sforge 及未启用的隔离 Docker writer-barrier,不能当作这些平台通过。首次运行的五个 test helper 导入失败在补齐 checkout/tests 的 PYTHONPATH 后重跑同套件通过,原失败保留;这是评审环境更正,没有改产品、断言或硬限。初始私有探针的只读属性赋值和预检参数错误也保留,不算 PR 缺陷。

标准 premerge 的 5 direct + 9 selected commands 全部 PASS,但整体仍为 quality_stale_receipt:评审工作区残留的旧 CQR 绑定另一 base,不适用于当前 diff;没有把该红门改写为通过。另有 benchmark_sensitive 人工合并门。合并前仍须负责人取得准确 scope 的质量资格及现行 readiness/授权。CI 按当前策略未读取、未等待。回滚只需撤回这条纯预检,原 worker 后置检查及历史 capture 不变。

我的整体评价 / Verdict

这是 justified_increment:把一个已有确定性 bank 错误提前到实际公共构造入口,改善配置失败反馈,并保持后续 capture 的原 owner 和关闭态行为。long_horizon 的 improved 仅指阻止已知无效 setup;不声称完整成本或科研效果已经改善。用户体验的改善是少走一次失败初始化,无新增人工门。

正确性约束已由 worker 定义;共享适配器只提前检查已知的 guest 布局,实际文件系统与 capture 权威仍留在原 worker owner。保留当前两文件的构造前预检与既有回归;不扩展通用路径框架,也不把源码预检视为完整捕获或研究收益资格。检查范围是 benchmark 适配器构造与 worker 环境,未改变渲染页面,无需截图。未检验安装 UI、真实 SForge/Linux/Docker 作业、模型行为或完整研究收益。没有观察到需要当前扩大重构的理由。327 项可选环境跳过、真实文件系统资格和安装采用由原平台消费者继续验收;CQR 与人工合并条件分别保留。

English verdict: APPROVE 8bc5a68. Actual-Harbor base/head probes verify early rejection and healthy/off parity; real SForge/Linux capture, exact-scope CQR and merge authority remain separate.

@huangruiteng
huangruiteng merged commit 2a3ca1a into main Oct 28, 2026
28 of 34 checks passed
@huangruiteng
huangruiteng deleted the codex/edgebench-checkpoint-preflight-20261028 branch October 28, 2026 10:45
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants